💬 Большой мозг, крошечные модели: мультивселенные вычислительные сумки Испании 215 миллионов долларов США для сокращения ИИ для смартфонов

Большой мозг, крошечные модели: мультивселенные вычислительные сумки Испании 215 миллионов долларов США для сокращения ИИ для смартфонов

Испанский стартап искусственного интеллекта только что убедил инвесторов вручить более 215 миллионов долларов на основе смелого заявления: они могут сократить большие языковые модели на 95%, не ставя под угрозу свою эффективность.

Инновация Multiverse Computing зависит от своей технологии Compactifai, метода сжатия, который заимствует математические концепции от квантовой физики, чтобы уменьшить модели ИИ до размера смартфона.

Компания San Sebastian заявляет, что их модель сжатой Llama-2 7B работает на 25% быстрее при выводе, используя на 70% меньше параметров, с точностью падать всего на 2-3%.

В случае подтверждения в масштабе, это может решить проблему AI размером с слон: модели, настолько массивные, что они требуют специализированных центров обработки обработки данных, чтобы работать.

«Впервые в истории мы можем профилировать внутреннюю работу нейронной сети, чтобы устранить миллиарды ложных корреляций, чтобы по -настоящему оптимизировать всевозможные модели ИИ», - заявил в блоге Роман Орус, главный научный сотрудник Multiverse.

Bullhound Capital возглавил раунд серии B 215 миллионов долларов США с поддержкой HP Tech Ventures и Toshiba.

Физика сжатия

Применение концепций, вдохновленных квантовым, для решения одной из самых насущных проблем ИИ звучит невероятно, но если исследование сохраняется, это реально.

В отличие от традиционного сжатия, которое просто сокращает нейроны или снижает численную точность, Compactifai использует тензорные сети - математические структуры, которые физики разработали для отслеживания взаимодействий частиц без утопления в данных.

Процесс работает как оригами для моделей искусственного интеллекта: матрицы веса сложены в более мелкие взаимосвязанные структуры, называемые операторами продукта Matrix.

Вместо того, чтобы хранить каждую связь между нейронами, система сохраняет только значимые корреляции, отбрасывая избыточные паттерны, такие как информация или отношения, которые повторяются снова и снова.

Multiverse обнаружил, что модели искусственного интеллекта не сжимаются равномерно. Ранние слои оказываются хрупкими, в то время как более глубокие слои, которые, как показано, являются менее критичными для производительности, могут противостоять агрессивному сжатию.

Этот селективный подход позволяет им достичь значительного сокращения размера, где другие методы терпят неудачу.

После сжатия модели подвергаются краткому «заживлению» - повторному делу, которое занимает менее одной эпохи благодаря уменьшению количества параметров. Компания утверждает, что этот процесс восстановления работает на 50% быстрее, чем обучение оригинальных моделей из-за снижения передачи GPU-CPU.

Короче говоря - Per собственных предложений компании - вы начинаете с модели, запускаете магию Compactify и в конечном итоге сжатой сжатой версией, которая имеет менее 50% ее параметров, может работать с вдвое превышающей скорость вывода, стоит намного меньше и столь же способна, как и оригинал.

В своем исследовании команда показывает, что вы можете уменьшить потребности памяти модели Llama-2 7B на 93%, сократить количество параметров на 70%, ускорить тренировки на 50%и ускорить ответ (вывод) на 25%, в то время как только теряет точность 2–3%.

Традиционные методы сокращения, такие как квантование (снижение точности, например, использование меньше десятичных мест), обрезка (полностью вырезание менее важных нейронов, например, обрезка мертвых ветвей из дерева) или методы дистилляции (обучение меньшей модели, чтобы имитировать поведение более крупного), даже не близки к достижению этих чисел.

Multiverse уже обслуживает более 100 клиентов, включая Bosch и Bank of Canada, применяя их алгоритмы, вдохновленные квантовым, за пределами AI к энергетической оптимизации и финансовому моделированию.

В марте в марте было проведено соавторское правительство Испании, что увеличило общее финансирование свыше 250 миллионов долларов.

В настоящее время предлагая сжатые версии моделей с открытым исходным кодом, таких как Llama и Mistral через AWS, компания планирует расширить до DeepSeek R1 и других моделей рассуждений.

Собственные системы от Openai или Claude, очевидно, остаются без ограничений, поскольку они недоступны для возиции или изучения.

Обещание технологии выходит за рамки сбережения затрат. Участие HP Tech Ventures сигнализирует о интересе к развертыванию Edge AI - ускоренные утонченные модели локально, а не облачные серверы.

«Инновационный подход Multiverse может принести преимущества искусственного интеллекта по повышению производительности, персонализации, конфиденциальности и экономической эффективности затрат для компаний любого размера», - сказал Туан Тран, президент по технологиям и инновациям Tuan Tran.

Итак, если вы когда -нибудь запускаете DeepSeek R1 на своем смартфоне, эти парни могут поблагодарить.

Под редакцией Джоша Киттнера и Себастьяна Синклера