🎙 Клод ИИ из Anthropic побеждает ChatGPT в таблице лидеров Chatbot Arena

Клод ИИ из Anthropic побеждает ChatGPT в таблице лидеров Chatbot Arena

Возвышение Клода в рейтинге Chatbot Arena знаменует собой первый случай, когда GPT-4 OpenAI, лежащий в основе ChatGPT Plus, был свергнут с момента его первого появления в таблице лидеров в мае прошлого года.

Chatbot Arena управляется организацией Large Model Systems Organization (LMSYS ORG), исследовательской организацией, занимающейся открытыми моделями, которые поддерживают сотрудничество между студентами и преподавателями Калифорнийского университета, Беркли, Калифорнийского университета в Сан-Диего и Университета Карнеги-Меллона. Платформа предлагает пользователям две немаркированные языковые модели и просит их оценить, какая из них работает лучше, основываясь на любых критериях, которые они считают подходящими.

После агрегирования тысяч субъективных сравнений Chatbot Arena вычисляет «лучшие» модели для таблицы лидеров, обновляя ее с течением времени.

[Создание сообщества]Топ-15 рейтингов Chatbot Arena LLM (23 мая - сейчас) Кредит: Питер Гостев https://t.co/OgnLu3rj64 pic.twitter.com/Ueq7DZpu8N – lmsys.org (@lmsysorg) 27 марта 2024 г.

[Создание сообщества]Топ-15 рейтингов Chatbot Arena LLM (23 мая - сейчас)

Кредит: Питер Гостев https://t.co/OgnLu3rj64 pic.twitter.com/Ueq7DZpu8N

– lmsys.org (@lmsysorg) 27 марта 2024 г.

Именно этот субъективный подход, основанный на различных личных вкусах участников, отличает Chatbot Arena от других тестов искусственного интеллекта. Тренеры моделей не могут «обманывать», адаптируя свои модели так, чтобы они превосходили алгоритм, как это можно сделать с количественными показателями. Измеряя то, что люди просто предпочитают, Chatbot Arena является ценным качественным ресурсом для исследователей ИИ.

Платформа собирает отзывы пользователей и обрабатывает их с помощью статистической модели Брэдли-Терри, чтобы предсказать вероятность того, что конкретная модель превзойдет другие в условиях прямой конкуренции. Этот подход позволяет генерировать комплексную статистику, включая диапазоны доверительных интервалов для оценок рейтинга Эло — тот же метод, который используется для измерения навыков шахматистов.

Подъем Claude 3 Opus на вершину — не единственное значительное событие в таблице лидеров. Claude 3 Sonnet (модель среднего размера, доступная бесплатно) и Claude 3 Haiku (меньшая, но более быстрая модель), также разработанные Anthropic, в настоящее время находятся на 4-м и 6-м месте соответственно.

В таблицу лидеров входят различные версии GPT-4, такие как GPT-4-0314 («исходная» версия GPT-4 от марта 2023 г.), GPT-4-0613, GPT-4-1106-preview и GPT-4. -0125-превью (последняя модель GPT-4 Turbo, доступная через API с января 2024 г.). Согласно рейтингу, Sonnet и Haiku лучше оригинального GPT-4, причем Sonnet также опережает модифицированную версию, выпущенную OpenAI в июне 2023 года.

Это также означает, что, к сожалению, в настоящее время в топ-10 входит только одна LLM с открытым исходным кодом: Qwen, а Starling 7b и Mixtral 8x7B — единственные другие открытые модели в топ-20.

Одним из преимуществ Claude перед GPT-4 является емкость контекста токена и возможность извлечения. Публичная версия Claude 3 Opus обрабатывает более 200 тысяч токенов, и организация утверждает, что у нее есть ограниченная версия, способная обрабатывать 1 миллион токенов с почти идеальной скоростью извлечения. Это означает, что Клод может понимать более длинные запросы и сохранять информацию более эффективно, чем GPT-4 Turbo, который обрабатывает 128 000 токенов и теряет возможности поиска при длинных подсказках.

Gemini Advanced от Google также набирает обороты в сфере ИИ-помощников. Компания предлагает план, который включает 2 ТБ хранилища и возможности искусственного интеллекта в наборе продуктов Google по той же цене, что и подписка Chat GPT Plus (20 долларов в месяц).

Бесплатная версия Gemini Pro в настоящее время занимает 4-е место между GPT-4 Turbo и Claude 3 Sonnet. Топовая модель Gemini Ultra недоступна для тестирования и пока не представлена ​​в рейтингах.

Под редакцией Райана Одзавы.