💬 Бывший главный научный сотрудник OpenAI запускает «безопасную» конкурирующую лабораторию искусственного интеллекта

Бывший главный научный сотрудник OpenAI запускает «безопасную» конкурирующую лабораторию искусственного интеллекта

Известный исследователь искусственного интеллекта Илья Суцкевер, бывший главный научный сотрудник OpenAI, основал новую исследовательскую фирму по искусственному интеллекту, которая сосредоточится на области, которая, по его и другим критикам, была слепым пятном его бывшего работодателя: безопасности.

Его новая компания Safe Superintelligence Inc. (SSI) основана Дэниелом Гроссом, бывшим руководителем ИИ в Apple, и Дэниелом Леви, ранее работавшим в OpenAI. Единственная цель компании — одновременно повышать безопасность и возможности ИИ.

«Мы будем стремиться к созданию безопасного суперинтеллекта прямым путем, с одним фокусом, одной целью и одним продуктом», — написала новая фирма в Твиттере в среду. «Мы добьемся этого посредством революционных прорывов, произведенных небольшой опытной командой».

Я открываю новую компанию: https://t.co/BG3K3SI3A1 – Илья Суцкевер (@ilyasut) 19 июня 2024 г.

Я открываю новую компанию: https://t.co/BG3K3SI3A1

– Илья Суцкевер (@ilyasut) 19 июня 2024 г.

Уход Суцкевера из OpenAI в прошлом году был вызван внутренней напряженностью, в том числе опасениями по поводу того, что безопасность отошла на второй план по сравнению с прибылью. С помощью SSI он стремится избежать отвлечений от накладных расходов на управление или циклов разработки продукта, с которыми часто сталкиваются крупные компании, занимающиеся искусственным интеллектом.

«Наша бизнес-модель подразумевает, что безопасность, надежность и прогресс изолированы от краткосрочных коммерческих давлений», — говорится в официальном заявлении на сайте SSI. «Таким образом, мы можем масштабироваться спокойно».

SSI будет чисто исследовательской организацией, в отличие от нынешней бизнес-модели OpenAI, которая включает коммерциализацию ее моделей искусственного интеллекта. Как следует из названия, первым и единственным продуктом SSI станет безопасный сверхинтеллект.

«Под безопасностью мы подразумеваем безопасность, подобную ядерной безопасности, а не безопасность, как «доверие и безопасность», — объяснил Суцкевер Bloomberg.

Миссия компании — расширить фокус Ильи на «совмещении» с человеческими интересами, сосредоточив внимание исключительно на разработке, а не на «блестящих продуктах», которые, по его словам, отвлекали OpenAI.

Суцкевер предполагает, что системы искусственного интеллекта SSI, когда они будут готовы, будут более универсальными и обширными по своим возможностям, чем нынешние большие языковые модели. Конечная цель — создать «безопасный сверхразум», который не причинит вреда человечеству и будет действовать на основе таких ценностей, как свобода и демократия.

«На самом базовом уровне безопасный сверхинтеллект должен обладать свойством, позволяющим не причинять вред человечеству в больших масштабах», — сказал он Bloomberg.

Штаб-квартира SSI будет находиться в США и Израиле, и компания набирает сотрудников прямо сейчас.

«Мы предлагаем возможность заняться делом всей вашей жизни и помочь решить самую важную техническую задачу нашего времени», — написала новая компания в Твиттере.

Такое развитие событий произошло после того, как OpenAI решила распустить свою суперкоманду, отвечающую за долгосрочную безопасность ИИ, после ухода ключевых членов.

Суцкевер был частью совета директоров OpenAI, который изначально уволил генерального директора Сэма Альтмана из-за проблем с безопасностью, но Альтман был восстановлен в должности несколько дней спустя с новым советом директоров, который он контролировал. После этих событий была сформирована новая команда по безопасности под контролем Альтмана, и многие из членов, отвечавших за разработку методов безопасности, были уволены, переведены или вынуждены уйти в отставку.

Например, Леопольд Ашенбреннер, бывший исследователь безопасности OpenAI, недавно раскритиковал практику безопасности компании как «крайне недостаточную». В настоящее время он работает в инвестиционной фирме, занимающейся разработкой AGI, которую он основал вместе с Патриком Коллисоном, Джоном Коллисоном, Натом Фридманом и Гроссом, которые также основали SSI вместе с Суцкевером.

Помимо Ашенбреннера, Ян Лейке, бывший руководитель группы выравнивания OpenAI, также покинул компанию вместе с Суцкевером и раскритиковал компанию за то, что она поставила прибыльность выше безопасности. Вскоре после своей отставки он объявил, что присоединится к конкурирующей фирме Anthropic, которая сама была основана бывшими исследователями OpenAI, обеспокоенными плохим подходом компании к безопасной разработке ИИ.

А Гретхен Крюгер, политический исследователь OpenAI, покинула компанию, сославшись на те же опасения, которые разделяли Лейке и Сутскевер.

Нам нужно сделать больше для улучшения таких фундаментальных вещей, как процессы принятия решений; подотчетность; прозрачность; документация; обеспечение соблюдения политики; осторожность, с которой мы используем наши собственные технологии; и смягчение воздействия на неравенство, права и окружающую среду. – Гретхен Крюгер (@GretchenMarina) 22 мая 2024 г.

Нам нужно сделать больше для улучшения таких фундаментальных вещей, как процессы принятия решений; подотчетность; прозрачность; документация; обеспечение соблюдения политики; осторожность, с которой мы используем наши собственные технологии; и смягчение воздействия на неравенство, права и окружающую среду.

– Гретхен Крюгер (@GretchenMarina) 22 мая 2024 г.

Бывшие члены совета директоров также обвинили Сэма Альтмана в насаждении «токсичной культуры» в рабочей среде. Новые члены правления оспорили эти обвинения, и с тех пор OpenAI освободила сотрудников от соглашений о неунижении и удалила спорные положения из документов об увольнении после общественного протеста.

Под редакцией Райана Одзавы.