💬 Компания по безопасности блокчейна предупреждает о риске отравления кода ИИ после того, как OpenAI ChatGPT рекомендует мошеннический API

Компания по безопасности блокчейна предупреждает о риске отравления кода ИИ после того, как OpenAI ChatGPT рекомендует мошеннический API

Юй Сянь, основатель компании Slowmist, занимающейся безопасностью блокчейнов, поднял тревогу по поводу растущей угрозы, известной как отравление кода ИИ.

Этот тип атак подразумевает внедрение вредоносного кода в данные обучения моделей ИИ, что может представлять опасность для пользователей, использующих эти инструменты для выполнения технических задач.

Инцидент

Проблема привлекла внимание после тревожного инцидента с участием ChatGPT от OpenAI. 21 ноября криптотрейдер под ником «r_cky0» сообщил о потере 2500 долларов в цифровых активах после того, как обратился за помощью к ChatGPT для создания бота для генератора мемов Pump.fun на базе Solana.

Однако чат-бот рекомендовал мошеннический сайт Solana API, что привело к краже личных ключей пользователя. Жертва отметила, что в течение 30 минут после использования вредоносного API все активы были слиты на кошелек, связанный с мошенничеством.

[Примечание редактора: ChatGPT, похоже, рекомендовал API после запуска поиска с использованием нового SearchGPT в качестве раздела «источников», что можно увидеть на снимке экрана. Таким образом, это, похоже, не случай отравления ИИ, а неспособность ИИ распознать мошеннические ссылки в результатах поиска.]

Дальнейшее расследование показало, что на этот адрес постоянно поступают украденные токены, что усилило подозрения в его принадлежности мошеннику.

Основатель Slowmist отметил, что доменное имя мошеннического API было зарегистрировано два месяца назад, что говорит о том, что атака была преднамеренной. Сиань также отметил, что на сайте отсутствует подробный контент, состоящий только из документов и репозиториев кода.

Хотя отравление выглядит преднамеренным, нет никаких доказательств того, что OpenAI намеренно интегрировала вредоносные данные в процесс обучения ChatGPT, а результат, скорее всего, был получен с помощью SearchGPT.

Подразумеваемое

Компания по безопасности блокчейна Scam Sniffer отметила, что этот инцидент иллюстрирует, как мошенники загрязняют данные обучения ИИ вредоносным криптокодом. Компания заявила, что пользователь GitHub, «solanaapisdev», недавно создал несколько репозиториев для манипулирования моделями ИИ с целью генерации мошеннических выходов в последние месяцы.

Инструменты искусственного интеллекта, такие как ChatGPT, которыми сейчас пользуются сотни миллионов человек, сталкиваются со все большими трудностями, поскольку злоумышленники находят новые способы их использования.

Сянь предостерег пользователей криптовалют от рисков, связанных с большими языковыми моделями (LLM), такими как GPT. Он подчеркнул, что когда-то теоретический риск, отравление ИИ теперь материализовалось в реальную угрозу. Таким образом, без более надежной защиты подобные инциденты могут подорвать доверие к инструментам на основе ИИ и подвергнуть пользователей дальнейшим финансовым потерям.