💬 Новый видеогенератор третьего поколения на базе искусственного интеллекта от Runway получил высокую оценку

Новый видеогенератор третьего поколения на базе искусственного интеллекта от Runway получил высокую оценку

Сгенерированные видеоролики, особенно с человеческими лицами, настолько реалистичны, что члены арт-сообщества искусственного интеллекта быстро сравнили их с еще не выпущенной, но долгожданной Sora от OpenAI.

«Даже если они выбраны тщательно, они уже выглядят лучше, чем Сора», — написал один пользователь Reddit в комментарии, получившем наибольшее количество голосов в ветке обсуждения Runway Gen-3. «Сора имеет стилизованный внешний вид», — другой пользователь ответил: «Эти люди выглядят настоящими, лучшее, что я когда-либо видел».

«Если бы вы показали мне этих сгенерированных людей, я бы предположил, что это реально», — прочитал другой комментарий в субреддите AI Video, насчитывающем 66 000 участников.

«Эти клипы Runway GEN-3 действительно привлекают меня визуально — они выглядят кинематографично», — написал в Твиттере псевдонимный AI-режиссер PZF, который также называет себя творческим партнером Runway. «Гладкий, сдержанный (в хорошем, натуралистическом смысле), правдоподобный».

Эти клипы Runway GEN-3 действительно привлекают меня визуально. Они выглядят кинематографично. Гладко, сдержанно (в хорошем, натуралистическом смысле), правдоподобно. Буду рад опробовать его, как только он станет доступен. https://t.co/kZfGQ4Vz83 – ПЗФ (@pzf_ai) 17 июня 2024 г.

Эти клипы Runway GEN-3 действительно привлекают меня визуально. Они выглядят кинематографично.

Гладко, сдержанно (в хорошем, натуралистичном смысле), правдоподобно.

Буду рад опробовать его, как только он станет доступен. https://t.co/kZfGQ4Vz83

– ПЗФ (@pzf_ai) 17 июня 2024 г.

Помимо видеогенератора Gen-3, Runway также представляет набор инструментов тонкой настройки, включая более гибкие элементы управления изображением и камерой.

«Gen-3 Alpha будет использоваться в инструментах Runway для преобразования текста в видео, изображений в видео и текста в изображение, в существующих режимах управления, таких как Motion Brush, Advanced Camera Controls и Director Mode, а также в будущих инструментах, которые обеспечат еще более детальный контроль над структурой, стилем и движением», — написала компания в Twitter.

Обученный совместно видео и изображениям, Gen-3 Alpha будет использоваться в инструментах Runway «Текст в видео», «Изображение в видео» и «Текст в изображение», существующих режимах управления, таких как «Кисть движения», «Расширенные элементы управления камерой» и «режим режиссера», а также в будущих инструментах, которые сделают еще более точными. - детальный контроль над… pic.twitter.com/sWXIb3NXgm — Взлетно-посадочная полоса (@runwayml), 17 июня 2024 г.

Обученный совместно видео и изображениям, Gen-3 Alpha будет использоваться в инструментах Runway «Текст в видео», «Изображение в видео» и «Текст в изображение», существующих режимах управления, таких как «Кисть движения», «Расширенные элементы управления камерой» и «режим режиссера», а также в будущих инструментах, которые сделают еще более точными. - детальный контроль над… pic.twitter.com/sWXIb3NXgm

— Взлетно-посадочная полоса (@runwayml), 17 июня 2024 г.

В Runway утверждают, что Gen-3 — это значительный шаг на пути к реализации амбициозной цели создания «Общих моделей мира». Эти модели позволят системе искусственного интеллекта построить внутреннее представление окружающей среды и использовать его для моделирования будущих событий в этой среде. Этот подход отличает Runway от традиционных методов, которые фокусируются на прогнозировании следующего вероятного кадра в определенной временной шкале.

Хотя компания Runway не назвала конкретную дату выпуска Gen-3, соучредитель и технический директор Анастасис Германидис объявил, что Gen-3 Alpha «скоро будет доступен в продукте Runway». Это включает в себя существующие режимы, а также «некоторые новые, которые стали возможны только сейчас с более функциональной базовой моделью», — поддразнил он.

Runway Gen-3 Alpha скоро будет доступен в продукте Runway и будет поддерживать все существующие режимы, к которым вы привыкли (текст-видео, изображение-видео, видео-видео), а также некоторые новые. те, которые возможны только сейчас с более функциональной базовой моделью. – Анастасис Германидис (@agermanidis), 17 июня 2024 г.

Runway Gen-3 Alpha скоро будет доступен в продукте Runway и будет поддерживать все существующие режимы, к которым вы привыкли (текст-видео, изображение-видео, видео-видео), а также некоторые новые. те, которые возможны только сейчас с более функциональной базовой моделью.

– Анастасис Германидис (@agermanidis), 17 июня 2024 г.

Путешествие Runway в сфере искусственного интеллекта началось в 2021 году, когда они в сотрудничестве с исследователями из Мюнхенского университета создали первую версию Stable Diffusion. Позже компания Stability AI компенсировала вычислительные затраты на проект и превратила его в глобальный феномен.

С тех пор Runway стала важным игроком в области создания видео с помощью искусственного интеллекта наряду с такими конкурентами, как Pika Labs. Однако ситуация изменилась после анонса OpenAI Sora, которая превзошла возможности существующих моделей. Голливудский актер Эштон Катчер недавно вызвал переполох, заявив, что такие инструменты, как Сора, могут серьезно подорвать теле- и кинопроизводство.

Однако пока мир ждет публичного релиза Соры, появились новые конкуренты, такие как Kling от Kuaishou и Dream Machine от Luma AI.

Kling, китайский видеогенератор, может создавать видеоролики продолжительностью до двух минут в разрешении 1080p и частоте 30 кадров в секунду, что является существенным улучшением по сравнению с существующими моделями. Эта китайская модель уже доступна, но пользователям необходимо указать китайский номер телефона. Куайшоу заявил, что выпустит глобальную версию.

Dream Machine, с другой стороны, представляет собой бесплатную платформу, которая преобразует письменный текст в динамические видео, а также обеспечивает результаты, которые легко превосходят Runway Gen 2 с точки зрения качества, последовательности и быстрого выполнения. Для этого требуется базовая учетная запись Google, но он настолько популярен, что появление новых поколений занимает очень много времени — если они вообще появляются.

В сфере открытого исходного кода Stable Video Diffusion, хотя и не способен дать сопоставимые результаты, предлагает прочную основу для улучшения и развития. Vidu, еще один китайский генератор видео с искусственным интеллектом, разработанный ShengShu Technology и Университетом Цинхуа, использует запатентованную архитектуру модели визуального преобразования, называемую Universal Vision Transformer (U-ViT), для создания 16-секундных видеороликов с разрешением 1080p одним щелчком мыши.

Что касается Pika Labs, то она не выпустила серьезного обновления, оставив свои возможности сравнимыми с Runway Gen-2.

Decrypt обратилась к Runway за дополнительной информацией относительно даты выпуска и других деталей, но на момент написания этой статьи не получила ответа.

Под редакцией Райана Одзавы.