💬 Уволившийся руководитель OpenAI говорит, что безопасность «отошла на второй план в пользу блестящих продуктов»

Уволившийся руководитель OpenAI говорит, что безопасность «отошла на второй план в пользу блестящих продуктов»

Ян Лейке, бывший руководитель инициатив OpenAI по согласованию и «сверхсогласованию», в пятницу отправился в Twitter (также известный как X), чтобы объяснить причину своего ухода из разработчика ИИ во вторник. В ветке твита Лейке указал на нехватку ресурсов и внимание к безопасности как на причины своего решения уйти из создателя ChatGPT.

Команда OpenAI по согласованию или суперсогласованию отвечает за безопасность и создание более ориентированных на человека моделей ИИ.

Уход Лейке стал третьим высокопоставленным членом команды OpenAI, ушедшим с февраля. Во вторник сооснователь OpenAI и бывший главный научный сотрудник Илья Суцкевер также объявил о своем уходе из компании.

«Уйти с этой работы было одним из самых трудных поступков, которые я когда-либо делал», — написал Лейке. «Потому что нам срочно нужно выяснить, как управлять и контролировать системы искусственного интеллекта, которые намного умнее нас».

Вчера был мой последний день в качестве руководителя отдела согласования, руководителя суперсогласования и исполнительного директора @OpenAI. – Ян Лейке (@janleike) 17 мая 2024 г.

Вчера был мой последний день в качестве руководителя отдела согласования, руководителя суперсогласования и исполнительного директора @OpenAI.

– Ян Лейке (@janleike) 17 мая 2024 г.

Лейке отметил, что, хотя он и считал OpenAI лучшим местом для проведения исследований в области искусственного интеллекта, он не всегда сходился во мнениях с руководством компании.

«Создание машин, которые умнее человека, — это по своей сути опасное занятие», — предупредил Лейке. «Но за последние годы культура и процессы безопасности отошли на второй план, уступив место блестящим продуктам».

Отмечая опасность общего искусственного интеллекта (AGI), Лейке сказал, что на OpenAI лежит «огромная ответственность», но сказал, что компания больше сосредоточена на достижении общего искусственного интеллекта (AGI), а не на безопасности, отметив, что его команда «плыла против ветра» и боролась с трудностями. для вычислительных ресурсов.

Общий искусственный интеллект, также известный как сингулярность, относится к модели ИИ, способной решать проблемы в различных областях, как это сделал бы человек, а также способности к самообучению и решению проблем, для решения которых программа не была подготовлена.

В понедельник OpenAI представила несколько новых обновлений своего флагманского продукта генеративного искусственного интеллекта ChatGPT, включая более быструю и интеллектуальную модель GPT-4O. По словам Лейке, его бывшая команда в OpenAI работает над несколькими проектами, связанными с более интеллектуальными моделями ИИ.

До работы в OpenAI Лейке работал исследователем выравнивания в Google DeepMind.

«За последние три года это было такое дикое путешествие», — написал Лейке. «Моя команда запустила первый в истории LLM [Подкрепляющее обучение на основе обратной связи с человеком] с InstructGPT, опубликовала первый масштабируемый контроль над LLM и впервые внедрила автоматическую интерпретацию и обобщение от слабого к сильному. Скоро появятся еще более интересные вещи».

По мнению Лейке, серьезный разговор о последствиях достижения ОИИ уже давно назрел.

«Мы должны уделить приоритетное внимание подготовке к ним, насколько это возможно», — продолжил Лейке. «Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству».

Хотя Лейке не упомянул в теме никаких планов, он призвал OpenAI подготовиться к тому моменту, когда AGI станет реальностью.

«Научитесь чувствовать ОИИ», — сказал он. «Действуйте с серьезностью, соответствующей тому, что вы строите. Я верю, что вы можете «доставить» необходимые культурные изменения».

«Я рассчитываю на вас», — заключил он. «Мир рассчитывает на вас».

Лейке не сразу ответил на запрос Decrypt о комментариях.

Под редакцией Эндрю Хейворда