🗯 Взломы джейлбрейка AI-чат-бота раскрывают конфиденциальные данные OpenAI и Amazon

Взломы джейлбрейка AI-чат-бота раскрывают конфиденциальные данные OpenAI и Amazon

Разработчик ChatGPT OpenAI заткнул дыру, которая побудила его флагманского чат-бота раскрыть внутренние данные компании. Ведущая компания в области искусственного интеллекта классифицировала взлом, заставивший ChatGPT повторять слово снова и снова, в течение неопределенного времени, как спам-рассылку сервиса и нарушение условий его обслуживания.

Гораздо новый ИИ-агент Amazon, Q, также был отмечен за то, что он слишком много делится.

Исследователи из Вашингтонского университета, Университета Карнеги-Меллона, Корнелльского университета, Калифорнийского университета в Беркли, ETH Zurich и Google DeepMind опубликовали отчет, в котором выяснилось, что если попросить ChatGPT повторять слово вечно, это раскроет «распространение перед обучением» в виде частной информации. от OpenAI, включая электронную почту, номера телефонов и факсов.

«Чтобы восстановить данные из модели, адаптированной к диалогу, мы должны найти способ заставить модель «выйти» из тренировки выравнивания и вернуться к исходной цели моделирования языка», — говорится в отчете. «Мы надеемся, что это позволит модели генерировать образцы, напоминающие ее распределение перед обучением».

Однако после публикации отчета попытки воссоздать ошибку были пресечены. ChatGPT-3 и GPT-4 предупреждают пользователя: «Этот контент может нарушать нашу политику в отношении контента или условия использования».

Хотя политика OpenAI в отношении контента не упоминает вечные циклы, в ней говорится, что мошеннические действия, такие как спам, не допускаются. В частности, условия обслуживания компании более конкретны в отношении пользователей, пытающихся получить доступ к частной информации или обнаруживающих исходный код набора инструментов искусственного интеллекта OpenAI.

«Пытаться или помогать кому-либо перепроектировать, декомпилировать или обнаруживать исходный код или базовые компоненты наших Сервисов, включая наши модели, алгоритмы или системы (за исключением случаев, когда это ограничение запрещено применимым законодательством)».

Когда его спрашивают, почему он не может выполнить запрос, ChatGPT обвиняет ограничения обработки, ограничения символов, ограничения сети и хранилища, а также практичность выполнения команды.

OpenAI пока не ответила на запрос Decrypt о комментариях.

Команду на бесконечное повторение слова также можно охарактеризовать как согласованную попытку вызвать сбой в работе чат-бота путем блокировки его в цикле обработки, аналогично атаке распределенного отказа в обслуживании (DDoS).

В прошлом месяце OpenAI сообщила, что ChatGPT подвергся DDoS-атаке, что разработчик ИИ подтвердил на странице статуса ChatGPT.

«Мы имеем дело с периодическими сбоями из-за аномального трафика, отражающего DDoS-атаку», — заявили в компании. «Мы продолжаем работать над смягчением этого».

Между тем, согласно отчету Platformer, у конкурента искусственного интеллекта Amazon, похоже, также есть проблемы с утечкой частной информации чат-ботом. Amazon недавно запустила своего чат-бота Q (не путать с проектом OpenAI Q*).

По словам Platformer, Amazon попыталась преуменьшить значение этого откровения, объяснив, что сотрудники обменивались отзывами через внутренние каналы, что, по словам Amazon, было стандартной практикой.

«В результате этих отзывов не было выявлено никаких проблем с безопасностью», — говорится в заявлении Amazon. «Мы ценим все отзывы, которые мы уже получили, и продолжим настраивать Q по мере того, как он переходит от продукта в предварительной версии к общедоступному».

Amazon еще не ответил на запрос Decrypt о комментариях.

Под редакцией Райана Одзавы.