💬 Генераторы изображений AI достигают «турбо» скоростей: создание SDXL и LCM Edge практически в реальном времени

Генераторы изображений AI достигают «турбо» скоростей: создание SDXL и LCM Edge практически в реальном времени

Технология создания изображений с помощью искусственного интеллекта (ИИ) быстро развивается — во многих отношениях. Последние достижения привели отрасль от устойчивого прогресса к неустанным прорывам, которые теперь обещают появление создания высококачественных изображений в реальном времени.

Дело не в том, что эти инструменты были медленными: одна минута — это не так уж и долго, чтобы «сделать больше». Но пользователи по-прежнему требуют большего: большего реализма, большей универсальности, большего разнообразия и большей скорости. И в этом последнем вопросе исследователи с радостью справляются.

SDXL нажимает на педаль газа

Stability AI представила SDXL Turbo, который может стать колоссальным прорывом в создании изображений ИИ. Мы не говорим об этом легкомысленно: недавно анонсированная модель может генерировать изображения за одну секунду вместо 30-60 секунд, как у обычных генераторов. Это почти, если не сказать эффективно, генерация изображений ИИ в реальном времени.

SDXL Turbo отличается от всех предыдущих моделей Stable Diffusion. Технология состязательной диффузионной дистилляции (ADD) позволяет значительно сократить количество шагов, необходимых для создания высококачественных изображений — всего лишь один шаг, тогда как для обычных изображений может потребоваться от 30 до 100 шагов. «ADD — это первый метод, позволяющий разблокировать одношаговый синтез изображений в реальном времени с помощью базовых моделей», — утверждает Stability AI в исследовательской статье.

Представляем SDXL Turbo: модель преобразования текста в изображение в реальном времени. SDXL Turbo обеспечивает высочайшую производительность благодаря новой технологии дистилляции, позволяющей создавать изображения за один шаг с беспрецедентным качеством, сокращая необходимое количество шагов с 50 до одного. … pic.twitter.com/0NA4aUqKkD — Стабильность AI (@StabilityAI) 28 ноября 2023 г.

Представляем SDXL Turbo: модель преобразования текста в изображение в реальном времени.

SDXL Turbo обеспечивает высочайшую производительность благодаря новой технологии дистилляции, позволяющей создавать изображения за один шаг с беспрецедентным качеством, сокращая необходимое количество шагов с 50 до одного.

… pic.twitter.com/0NA4aUqKkD

— Стабильность AI (@StabilityAI) 28 ноября 2023 г.

SDXL Turbo использует гибрид состязательного обучения и дистилляции оценок, оптимизируя процесс генерации и гарантируя быстрое создание изображений при сохранении высокой точности.

В результате внедрение SDXL Turbo позволяет практически мгновенно создавать сложные изображения с высоким разрешением. Этот новый подход также привлекает внимание к GAN, о которых в значительной степени забыли после того, как на сцене начали доминировать диффузионные технологии.

Модели скрытой согласованности означают эффективность

Однако, если вы не хотите прощаться со своими «устаревшими» моделями устойчивой диффузии, у исследователей есть для вас решение.

Достижениями SDXL Turbo являются модели скрытой согласованности (LCM) и LCM-LoRA, каждая из которых вносит свой уникальный вклад в эту область.

LCM, как представлено в их специальной исследовательской статье, выделяются своей способностью генерировать изображения с высоким разрешением, эффективно работая в скрытом пространстве предварительно обученных автокодировщиков, таких как Stable Diffusion. LCM направлены на повышение скорости создания изображений без значительной потери качества, уделяя особое внимание выходным данным с высоким разрешением. Используя одноэтапный метод направленной дистилляции, LCM преобразуют предварительно обученные диффузионные модели в быстрые генераторы изображений, пропуская ненужные шаги.

На практике пользователям больше ничего менять не нужно. Просто скачайте модель и используйте ее как обычную контрольную точку SDXL. Однако вместо того, чтобы пробегать огромное количество ступенек, они могли бы снизить шкалу до минимума. Модель будет создавать хорошие изображения с четырьмя шагами за пару секунд вместо того, чтобы рассчитывать генерацию по 25, 50 или 75 шагов на изображение.

Вы уже можете попробовать отличные модели со своими версиями LCM. Мы рекомендуем Hephaistos_NextGENXL из-за его универсальности, но для тестирования доступно множество отличных моделей.

Выпускаем Pixart-alpha x LCM ！⚡️ Рады выпустить еще одну совместную работу с командой Pixart-alpha！?@lawrence_cjs проверьте ссылку здесь: https://t.co/9qTYKyiaQk pic.twitter.com/HPUmXYERrk – Аллен Луо (@SimianLuo) 30 ноября 2023 г.

Выпускаем Pixart-alpha x LCM ！⚡️

Рады выпустить еще одну совместную работу с командой Pixart-alpha！?@lawrence_cjs

проверьте ссылку здесь: https://t.co/9qTYKyiaQk pic.twitter.com/HPUmXYERrk

— Allen Luo (@SimianLuo) November 30, 2023

LCM-LoRAS: турбонаддув для любой модели

Выпущенный вместе с LCM, LCM-LoRA предлагает универсальный модуль ускорения, который можно интегрировать в различные модели со стабильной диффузией. «LCM-LoRA можно рассматривать как подключаемый нейронный решатель PF-ODE с сильными способностями к обобщению», — говорится в исследовательской статье.

LCM-LoRA разработан для повышения эффективности существующих моделей стабильной диффузии, делая их более быстрыми и универсальными. Он использует LoRA (адаптацию низкого ранга) для обновления предварительно обученных весовых матриц, снижая вычислительную нагрузку и требования к памяти.

Благодаря LCM-LoRA скорость генерации изображений обычных моделей со стабильной диффузией значительно увеличивается, что делает их высокоэффективными для различных задач. Пользователям даже не нужно будет загружать новую модель — просто активируйте LCM LoRA и генерируйте изображения так же быстро, как и в режиме LCM.

LCM-LoRA можно скачать для SD 1.5 и SDXL здесь.

1917 (фильм, 2019) Отредактировано с использованием Stable Diffusion AI в качестве практики, использовал LCM Lora (5 шагов выборки) для рендеринга каждого кадра всего за 6 секунд ? pic.twitter.com/sSvvmzlhMP – Пегас (@pegasus_vfx) 1 декабря 2023 г.

1917 (фильм, 2019)

Отредактировано с использованием Stable Diffusion AI в качестве практики, использовал LCM Lora (5 шагов выборки) для рендеринга каждого кадра всего за 6 секунд ? pic.twitter.com/sSvvmzlhMP

– Пегас (@pegasus_vfx) 1 декабря 2023 г.

Качество против скорости

Несмотря на эти технологические скачки, сохраняется необходимость сбалансировать скорость и качество изображения. Хотя инструменты быстрого создания, такие как SDXL Turbo и LCM-LoRA, ускоряют творческий процесс, они делают это за счет некоторой точности изображения. Другими словами, изображение, созданное с помощью 50 шагов и хорошей модели, всегда будет иметь более высокое разрешение или точность изображения, чем изображение, созданное с помощью 5 шагов и хорошей модели LCM.

Однако этот компромисс смягчается их полезностью в типичных рабочих процессах, где создается множество изображений, чтобы найти идеальное. Последующие итерации с такими инструментами, как «изображение в изображение» или «Inpaint», могут улучшить детализацию этих первоначальных изображений, компенсируя любую первоначальную потерю качества. Правильно отредактированное изображение, созданное с помощью одной из этих быстрых технологий, может быть таким же хорошим, как изображение, созданное с помощью обычной модели стабильной диффузии.

Пристегните ремни безопасности, потому что пространство создания изображений ИИ переходит в режим повышенной скорости, и мало кто жаждет скорости больше, чем фанаты ИИ.