💬 «Яндекс» открыл доступ к библиотеке для обучения больших языковых моделей

Опубликовано: 2024-06-11
Время чтения:
👑 Premium-робот: получай более 20-ти торговых идей в день!
Размер текста

«Яндекс» открыл доступ к библиотеке для обучения больших языковых моделей

«Яндекс» открыл доступ для всех желающих к собственно разработанной библиотеке YaFSDP для обучения больших языковых моделей, сообщает пресс-служба компании.

В релизе отмечается, что библиотека дает ускорение до 25%, а результат зависит от архитектуры и параметров нейросети. YaFSDP рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей, например, таких, которые генерируют изображения.

«С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру», - уточняют в «Яндексе».

Добавляется, что библиотека способна оптимизировать использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем) и alignment (выравнивание модели). «Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет», - заключили в компании.

Ограничение / снятие ответственности (дисклеймер): Вся информация на этом сайте предоставляется исключительно в информационных целях и не является предложением или рекомендацией к покупке, продаже или удержанию каких-либо ценных бумаг, акций или других финансовых инструментов. Авторы контента не несут ответственности за действия пользователей, основанные на предоставленной информации. Пользователи обязаны самостоятельно оценивать риски и проконсультироваться со специалистами перед принятием каких-либо инвестиционных решений. Вся информация на сайте может быть изменена без предварительного уведомления.

Самые свежие Новости экономики

🚀