💬 Компании искусственного интеллекта хотят прочитать мысли вашего чат -бота - и это может включать ваши

Компании искусственного интеллекта хотят прочитать мысли вашего чат -бота - и это может включать ваши

Сорок лучших исследователей ИИ в мире только что опубликовали статью, утверждая, что компании должны начать читать мысли своих систем ИИ. Не их результаты-фактический пошаговый процесс рассуждения, внутренний монолог, который происходит до того, как Chatgpt или Claude дает вам ответ.

Предложение, называемое мониторингом цепочки мышления, направлено на предотвращение плохого поведения, даже до того, как модель придумывает ответ и может помочь компаниям установить оценки «в области обучения и развертывания», исследователи утверждают

Но есть улов, который должен сделать любого, кто когда -либо напечатал частный вопрос в Catgpt Neversy: если компании могут отслеживать мысли ИИ в развертывании - когда ИИ взаимодействует с пользователями - тогда они могут отслеживать их и на что -либо еще.

Когда безопасность становится наблюдением

«Проблема оправдана», - сказал Decrypt Ник Аддамс, генеральный директор Commercial Hacking Startup 0RCUS. «Необработанная кроватка часто включает в себя дословные секреты пользователя, потому что модель« думает »в том же токенах, которую он принимает».

Все, что вы вводите в ИИ, проходит через цепь мысли. Проблемы со здоровьем, финансовые проблемы, признания - все это может быть зарегистрировано и проанализировано, если мониторинг COT не контролируется должным образом.

«Скорости истории со скептиками», - предупредил Аддамс. «Метаданные телекоммуникации после журналов трафика 11/11 и ISP после того, как Закон о телекоммуникациях 1996 года были введены как« для безопасности », а затем перепрофилированы для коммерческой аналитики и повестки. Такая же гравитация будет натягивать архивы Cot, если удержание не будет криптографически принудительно, а доступ не будет юридически ограничен».

Генеральный директор Nomad Coremad Патрис Уильямс-Линдо также осторожно относится к риску этого подхода.

«Мы видели эту книгу раньше. Помните, как социальные сети начались с« Connect Your Friends », и превратились в экономику наблюдения? Тот же потенциал здесь», - сказала она Decrypt.

Она предсказывает будущее «театра согласия», в котором »компании притворяются, что чтят конфиденциальность, но Bury Cot Surveillance в 40-страничных терминах».

«Без глобальных ограждений журналы Cot будут использоваться для всего, от таргетинга рекламы до« профилирования рисков »сотрудников в корпоративных инструментах. Следите за этим, особенно в области HR Tech и производительности AI».

Техническая реальность делает это особенно касающимся. LLMs способны только на сложные, многоэтапные рассуждения, когда они используют кроватку. Поскольку ИИ становится более мощным, мониторинг становится более необходимым и более инвазивным.

Кроме того, существующая монитория Cot может быть чрезвычайно хрупкой. Высококомпейный RL, альтернативные модели архитектуры, определенные формы надзора процесса и т. Д. Все могут привести к моделям, которые запутывают их мышление. - Боуэн Бейкер (@bobabowen) 15 июля 2025 г.

Кроме того, существующая монитория Cot может быть чрезвычайно хрупкой.

Высококомпейный RL, альтернативные модели архитектуры, определенные формы надзора процесса и т. Д. Все могут привести к моделям, которые запутывают их мышление.

- Боуэн Бейкер (@bobabowen) 15 июля 2025 г.

Tej Kalianda, руководитель дизайна в Google, не против предложения, но подчеркивает важность прозрачности, чтобы пользователи могли чувствовать себя комфортно, зная, что делает ИИ.

«Пользователям не нужны полноценные модели, но им нужно знать из чатбота искусственного интеллекта:« Вот почему вы видите это »или« вот что я больше не могу сказать », - сказала она Decrypt. «Хороший дизайн может заставить черный ящик больше похож на окно».

Она добавила: «В традиционных поисковых системах, таких как Google Search, пользователи могут видеть источник каждого результата. Они могут щелкнуть, проверить достоверность сайта и принять свое собственное решение. Эта прозрачность дает пользователям чувство агентства и уверенности. С чат -ботами ИИ этот контекст часто исчезает».

Есть ли безопасный путь вперед?

Во имя безопасности компании могут позволить пользователям отказаться от предоставления своих данных для обучения, но эти условия не обязательно могут применяться к цепочке мышления модели - то есть вывод искусственного интеллекта, а не контролируемый пользователем - и модели ИИ обычно воспроизводят информационные, которые пользователи дают им, чтобы сделать надлежащие рассуждения.

Итак, есть ли решение для повышения безопасности без ущерба для конфиденциальности?

Аддамс предложил гарантия: «Смягчение: следы в памяти с удержанием нулевого дня, детерминированное хэширование PII до хранения, редактирование пользователя и шум дифференциального приоритета на любой агрегатной аналитике».

Но Уильямс-Линдо остается скептическим. «Нам нужен AI, который является подотчетным, не перформативным - и это означает прозрачность по дизайну, а не наблюдение по умолчанию».

Для пользователей сейчас это не проблема, но это может быть, если не реализовано должным образом. Та же самая технология, которая могла бы предотвратить бедствия ИИ, также может превратить каждый разговор с чат -ботом в зарегистрированную, проанализированную и потенциально монетизированную точку данных.

Как предупреждал Аддамс, следите за «нарушением, разоблачающим сырые кроватки, общедоступный эталон, показывающий> 90% уклонение, несмотря на мониторинг, или новые законы ЕС или Калифорнии, которые классифицируют COT как защищенные личные данные».

Исследователи обращаются к таким гарантиям, как минимизация данных, прозрачность в области ведения ведения ведения и быстрое удаление данных без флаг. Но внедрение их потребует доверия тем же компаниям, которые контролируют мониторинг.

Но по мере того, как эти системы становятся более способными, кто будет наблюдать за своими наблюдателями, когда они оба смогут прочитать наши мысли?