🗯 Llama 3 выйдет в мае — стоит ли волноваться OpenAI?

Llama 3 выйдет в мае — стоит ли волноваться OpenAI?

«В течение следующего месяца, а точнее меньше, мы надеемся, что в течение очень короткого периода времени мы надеемся начать выпуск нашего нового набора моделей фундаментов следующего поколения, Llama 3», — заявил Ник Клегг, президент Meta по глобальным вопросам, на Meta. AI Day London, сообщает TechCrunch.

Клегг сказал, что Llama 3 состоит из «нескольких различных моделей с разными возможностями и универсальностью», выпуск которых начнется в этом году.

Ожидается, что после запуска Llama 3 станет самой продвинутой доступной моделью с открытым исходным кодом, и Meta вложит значительные средства в ее разработку. По словам Meta, модель была обучена с использованием 140 миллиардов параметров, что вдвое превышает мощность Llama 2. Генеральный директор Meta Марк Цукербург поделился некоторыми техническими подробностями в январе.

«Мы создаем массивную вычислительную инфраструктуру для поддержки нашей будущей дорожной карты, включая 350 тысяч H100 к концу этого года — и в целом почти 600 тысяч эквивалентов вычислений H100, если включить другие графические процессоры», — сказал тогда Цукерберг. Этот объем вычислительной мощности значительно превышает тот, который OpenAI использует для обучения GPT-4, для которого, по оценкам, потребуется около 25 000 графических процессоров за 90–100 дней.

Цукерберг также сообщил, что Meta AI, его ИИ-помощник, будет работать на базе Llama 3.

Крис Кокс, директор по продукту, сказал, что Llama 3 будет интегрирована в Meta.

«Наш план будет заключаться в том, чтобы Llama 3 поддерживала множество различных продуктов и возможностей в нашем семействе приложений», — сказал он.

Стратегия открытого исходного кода

Влияние выпуска Llama 3 выходит далеко за рамки Meta, учитывая философское стремление компании развивать ее как модель с открытым исходным кодом, что явно контрастирует с закрытым, проприетарным подходом, которого придерживаются такие конкуренты, как OpenAI с ChatGPT.

Открыв исходный код своих языковых моделей, Meta стремится развивать экосистему открытой разработки искусственного интеллекта и позиционировать семейство Llama в качестве основы для широкого спектра инструментов и приложений, созданных сторонними разработчиками и исследователями.

«Очень важно понимать, что инновации всегда основываются на предыдущем вкладе других, иногда очень похожих», — написал в прошлом месяце в Твиттере Янн Лекун, руководитель отдела исследований искусственного интеллекта Meta. «Вот почему открытые исследования так важны: они ускоряют развитие этой области для всех».

На расстоянии кажется, что инновации спонтанно возникают из вакуума. Но очень важно понимать, что инновации всегда основаны на предшествующем вкладе других, иногда очень похожих. Вот почему открытые исследования так важны: они делают эту область… https://t.co/JMvQD2h5OZ – Ян ЛеКун (@ylecun) 20 марта 2024 г.

На расстоянии кажется, что инновации спонтанно возникают из вакуума. Но очень важно понимать, что инновации всегда основаны на предшествующем вкладе других, иногда очень похожих. Вот почему открытые исследования так важны: они делают эту область… https://t.co/JMvQD2h5OZ

– Ян ЛеКун (@ylecun) 20 марта 2024 г.

Этот открытый идеал уже породил активное сообщество, сплотившееся вокруг Ламы. Некоторые из наиболее продвинутых на сегодняшний день языковых моделей с открытым исходным кодом, такие как Mistral, Falcon и Beluga, созданы путем тонкой настройки более ранней базовой модели Llama 2. Некоторые из этих моделей сообщества соответствуют или превосходят GPT-3.5 по определенным критериям.

Выпуск Llama-3 в качестве еще одной базовой модели с открытым исходным кодом, вероятно, проложит путь к новому поколению LLM, которое установит еще более высокую планку с точки зрения качества и эффективности в области искусственного интеллекта.

Эх, я думаю, что открытый исходный код будет соответствовать или превзойти в этом году. pic.twitter.com/y99qKJ2iKF – Райан Кейси (@ryansweb), 1 января 2024 г.

Эх, я думаю, что открытый исходный код будет соответствовать или превзойти в этом году. pic.twitter.com/y99qKJ2iKF

– Райан Кейси (@ryansweb), 1 января 2024 г.

Бросить вызов доминированию OpenAI

Идея Llama 3 с открытым исходным кодом представляет собой серьезный и многоуровневый вызов нынешнему доминированию OpenAI на рынке и, как следствие, другим проприетарным моделям, таким как Claude и Gemini.

Сообщество открытого исходного кода вскоре сможет опираться на Llama 3 и быстро повторять свои варианты, чтобы потенциально соответствовать возможностям GPT-4 или превосходить их — так же, как они это делали с GPT-3.5. Благодаря более низким затратам на обучение, разделенным между участниками, открытая экосистема может обойти разработку собственной модели OpenAI, которая требует огромных вычислительных ресурсов и затрат.

Если предложения с открытым исходным кодом будут регулярно достигать паритета с коммерческими предложениями, предприятия могут тяготеть к более доступным и экономически эффективным экосистемам, таким как Llama, вместо того, чтобы полагаться на OpenAI и платить за него. В настоящее время GPT-4 является самой дорогой моделью на рынке с точки зрения стоимости токена.

Кроме того, сообщество открытого исходного кода становится сильнее по мере того, как в него вовлекается все больше людей. Meta выигрывает от того, что огромное сообщество строится на основе модели, совершенствует ее, разрабатывает новые технологии и бесплатно улучшает ее. Это позволяет Meta разрабатывать более совершенные версии своей модели, одновременно монетизируя ее с помощью альтернативных схем, таких как лицензирование для коммерческого использования крупными отраслями промышленности.

Другими словами, сохраняющаяся инерция и сетевые эффекты могут затруднить привлечение пользователей и клиентов запатентованными моделями OpenAI в будущем.

Конечно, OpenAI в настоящее время удерживает сильное лидерство с точки зрения прибыльности. Anthropic может похвастаться самой эффективной программой LLM в сфере искусственного интеллекта. Но «Лама 3» станет еще одним стратегическим ударом Меты, призванным перевернуть ландшафт генеративного ИИ.

Конечно, многое зависит от реальной производительности Llama 3 и ее внедрения в следующем году. Но сообщество ИИ с открытым исходным кодом довольно активно — и уже любит Llama-2. В ближайшие несколько месяцев ситуация станет очень интересной, особенно с учетом того, что OpenAI GPT-5 уже не за горами.