💬 Возможности децентрализованного искусственного интеллекта

Возможности децентрализованного искусственного интеллекта

В последние месяцы децентрализованный ИИ вновь обретает известность, поскольку все больше людей начинают исследовать пересечение Web3 и генеративного ИИ. Хотя большинство людей согласны с тем, что децентрализация может иметь положительные преимущества для ИИ, конкретные технические пути наталкиваются на серьезные препятствия.

Например, хотя мы все думаем, что децентрализованные вычислительные сети (DePIN) могут помочь уравновесить игры с накоплением графических процессоров, в которых доминируют крупные технологические платформы, реальность такова, что требования к предварительному обучению и точной настройке крупных базовых моделей требуют концентрированных топологий графических процессоров с массивными автобусы связи.

Точно так же децентрализованные сети передачи данных кажутся ясной идеей для смягчения растущей концентрации данных в крупных компаниях. Однако на практике попытки решить эту проблему имели весьма посредственный успех.

Размышляя о децентрализации ИИ, важно понимать, что ИИ имеет тенденцию все больше развиваться в сторону централизованной архитектуры, что делает любые усилия по децентрализации невероятно сложными. Чтобы децентрализованный генеративный ИИ мог преодолеть эти естественные проблемы, ему необходимо полагаться на четыре ключевые тенденции или влиять на них:

Чтобы децентрализованный ИИ стал возможным, генеративный ИИ с открытым исходным кодом должен стать более массовым.

Децентрализованный ИИ — это игра на умозаключения и ничего больше

Инфраструктуры вычислений и данных Web3 должны масштабироваться, чтобы соответствовать требованиям базовых моделей.

Модели Foundation необходимо адаптировать для работы в децентрализованных инфраструктурах. По большей части каждый путь к децентрализованному ИИ зависит от разновидностей этих четырех идей.

ИИ как сила централизации

В истории технологий есть тенденции, которые фундаментально развиваются в сторону централизованных рынков, в то время как другие являются более открытыми и сбалансированными рынками. Мобильная связь — канонический пример технологии, которая эволюционировала в сторону централизованного рынка с двумя основными игроками.

В основном это связано со сложными требованиями к аппаратному обеспечению, программному обеспечению, исследованиям, цепочке поставок и распространению, которые могут освоить лишь немногие компании. Другие тенденции, такие как базы данных, начались как силы централизации с такими компаниями, как Oracle, IBM и Microsoft, и превратились в более конкурентные рынки с большим количеством игроков с открытым исходным кодом.

У ИИ одна из самых централизованных ДНК среди всех технологий в истории. Очевидно, это связано с зависимостями в таких областях, как вычисления или данные, которые также фундаментально централизованы. С этой точки зрения вполне естественно ожидать, что на рынке ИИ будет доминировать горстка компаний.

Любой централизованный рынок может использовать уравновешивающую силу. В этом смысле заманчиво думать, что блокчейны могут стать таким элементом. Хотя этот вывод в целом верен, для его реализации потребуется воздействие внешних рыночных сил, а также массовое внедрение генеративного искусственного интеллекта с открытым исходным кодом и развитие инфраструктуры Web3 и базовых моделей.

Генеративный ИИ с открытым исходным кодом должен стать мейнстримом

Не существует децентрализованного генеративного ИИ без генеративного ИИ с открытым исходным кодом. Волна инноваций в области генеративного искусственного интеллекта с открытым исходным кодом, безусловно, захватывает дух, но лишь несколько компаний, таких как HuggingFace, Meta, Mistral или Stability, являются жизнеспособными альтернативами OpenAI, Anthropic или Google.

Корпоративные приложения с жесткими ограничениями безопасности и конфиденциальности, а также стартапы ИИ в регулируемых отраслях кажутся сильными векторами роста для генеративного ИИ с открытым исходным кодом. В этих сценариях жизнеспособной альтернативой может стать инфраструктура искусственного интеллекта Web3. Если мы предположим, что генеративный ИИ с открытым исходным кодом получит некоторый уровень массового внедрения, следующая задача — понять, какие варианты использования в рамках жизненного цикла генеративных ИИ-решений хорошо подходят для децентрализованных инфраструктур.

Децентрализованный ИИ — это игра на логические выводы

Проще говоря, жизненный цикл генеративных моделей ИИ можно разделить на три основных этапа: предварительное обучение, точная настройка и вывод.

Первые два связаны с получением моделей для обобщения знаний на основе данных, тогда как вывод связан с прогнозами, выдаваемыми моделями. Чрезвычайно большой размер базовых моделей и их сложные требования к вычислениям делают децентрализованные инфраструктуры совершенно непрактичными для сценариев предварительного обучения и точной настройки.

Эти рабочие процессы требуют сотен или тысяч графических процессоров, соединенных высокопроизводительными коммуникационными шинами, которые могут принимать данные и пересчитывать веса в модели в течение недель или месяцев. Не говоря уже о том, что данные, необходимые для предварительного обучения и тонкой настройки, часто хранятся в облачных центрах обработки данных, поэтому их перенос в децентрализованную инфраструктуру становится совершенно нерентабельным.

Вывод — гораздо более практичный сценарий для децентрализованного генеративного ИИ и, возможно, единственный, который может работать при нынешнем состоянии технологий. С точки зрения рынка, рабочие нагрузки вывода также составляют больший процент доходов от генеративного ИИ. Теперь, когда мы знаем, что децентрализованный ИИ будет сосредоточен на рабочих процессах вывода с использованием базовых моделей с открытым исходным кодом, нам нужно выяснить, какой тип инфраструктуры Web3 может поддерживать эти варианты использования.

Инфраструктуре Web3 необходимо расти

Текущее поколение сред выполнения блокчейна не предназначено для запуска больших базовых моделей, даже для сценариев использования. Для решения этой проблемы определенно необходимы новые среды выполнения блокчейна, оптимизированные для более крупных и сложных вычислительных нагрузок. Вычисление вывода вне цепочки — это хорошая золотая середина, но она не полностью решает проблемы централизации с генеративным ИИ.

Модели фундаментов должны стать меньше

В прошлом году Microsoft ввела термин «малые языковые модели» на основе своей работы над базовой моделью под названием Phi и культовой статьи «Учебники — это все, что вам нужно». Маленький Phi имел параметры всего 3B и был предварительно обучен по серии учебников по информатике, и он смог превзойти модели 70B в задачах по математике и информатике.

Работа над Phi показала, что более мелкие и более специализированные модели являются одним из наиболее важных шагов на пути к внедрению генеративного ИИ. Точно так же, как инфраструктура Web3 должна масштабироваться для принятия базовых моделей, тенденция SLM может сделать модели более практичными для запуска в инфраструктуре Web3. Маловероятно, что в ближайшем будущем мы увидим инфраструктуру Web3, использующую модель с триллионом параметров, но 2B-3B определенно возможен.

Сложный, но возможный путь к децентрализованному ИИ

Идея децентрализованного генеративного ИИ концептуально тривиальна, но практически очень сложна. Искусственный интеллект естественным образом развивается как все более централизованная технология, и любые усилия по децентрализации представляют собой тяжелую борьбу. Широкое внедрение генеративных моделей ИИ с открытым исходным кодом имеет важное значение для жизнеспособности децентрализованных инфраструктур ИИ. Аналогичным образом, нынешнее состояние генеративного ИИ предполагает, что большинство первоначальных вариантов использования децентрализованного ИИ будут сосредоточены на умозаключениях, а не на предварительном обучении или точной настройке. Наконец, чтобы сделать децентрализованный ИИ практичным, инфраструктуры Web3 должны масштабироваться на несколько порядков, а базовые модели должны стать меньше и более адаптируемыми к децентрализованным средам.

Такое сочетание факторов представляет собой лучший путь к децентрализованному генеративному ИИ. Этот путь будет чрезвычайно трудным, но, по крайней мере на данный момент, определенно возможен.