💬 Netflix использует искусственный интеллект, чтобы вывести визуальные эффекты за пределы зеленого экрана

Netflix использует искусственный интеллект, чтобы вывести визуальные эффекты за пределы зеленого экрана

Исследователи из Netflix говорят, что они, возможно, сделали вездесущий зеленый экран устаревшим. Пурпурный зеленый экран (MGS), описанный как инновационный прогресс в применении ИИ в кино- и телеиндустрии, использует возможности искусственного интеллекта для улучшения визуальных эффектов, делая их более реалистичными и точными в режиме реального времени.

Новая технология потокового гиганта является впечатляющим дополнением к его разнообразному арсеналу, который уже использует глубокое обучение для адаптации пользовательского опыта. Используя искусственный интеллект, Netflix сделала себе имя, успешно профилируя своих пользователей и предлагая контент зрителям. ИИ также помог Netflix создавать захватывающие моменты, обзоры и трейлеры для увеличения числа зрителей.

Технология зеленого экрана — это широко используемый процесс, в котором актеры снимаются на ярко-зеленом фоне, который впоследствии можно удалить и заменить цифровым способом. Этот процесс можно автоматизировать, но возникают проблемы, когда на переднем плане появляются зеленые элементы или когда задействованы мелкие детали, такие как пряди волос или прозрачные объекты. Чтобы решить эти проблемы, операторы часто вручную настраивают параметры или закрашивают каждый кадр, что требует много времени.

Netflix говорит, что MGS использует искусственный интеллект для достижения лучших результатов, чем устаревшие зеленые экраны, за гораздо меньшее время, чем обычно требуется для редактирования сцены.

Как Netflix использует ИИ для улучшения своей игры с визуальными эффектами

Метод MGS требует снимать актеров на фоне ярко-зеленых светодиодов, а красные и синие светодиоды освещают их спереди, что приводит к пурпурному свечению. Эта уникальная конфигурация освещения создает отдельные каналы красного, зеленого и синего цветов. Зеленый канал записывает только фон, делая передний план черным, в то время как красный и синий каналы захватывают только передний план, делая фон черным.

Внедрение ИИ в эту систему позволяет заменить зеленый канал в режиме реального времени, что означает, что актеры могут быть реалистично и мгновенно помещены на передний план другой сцены. Что еще более примечательно, эта технология искусственного интеллекта может точно работать с прозрачными объектами и сложными деталями, такими как отдельные пряди волос, которые были сложными для традиционных методов.

Применение ИИ не останавливается на этапе съемок. Поскольку метод MGS может привести к пурпурному оттенку актеров и объектов, Netflix также использует ИИ для восстановления полного спектра цветов на переднем плане. Это достигается с помощью эталонной фотографии актеров при нормальном освещении.

Netflix — лишь одна из многих компаний, использующих технологию искусственного интеллекта. Другие стартапы и единороги используют технологии искусственного интеллекта для лучшего профилирования пользователей, повышения качества обслуживания клиентов и оптимизации своих продуктов.

Как недавно сообщал Decrypt, Zoom разработал сводку встреч на основе GPT. Кроме того, Meta использует генеративный ИИ для создания более качественной рекламы, Google улучшает свой офисный пакет благодаря собственному LLM, и даже Министерство обороны США пытается придумать интересные варианты использования ИИ в качестве стратегического инструмента.

Несмотря на сложности, связанные с техникой MGS, Netflix верит в потенциал своей системы GS на базе искусственного интеллекта. Однако у других в отрасли есть оговорки.

Дрю Лахат из компании по производству видео Geiger Post выразил обеспокоенность по поводу практичности этой техники в условиях динамичной съемки и ее конкурентоспособности по сравнению с другими новыми методами. «Он может хорошо работать в полностью контролируемом пространстве, — сказал он, — но ему придется конкурировать с другими новыми технологиями, такими как виртуальные производственные площадки, и побеждать производителей в сценариях реального мира».

Тем не менее, как сказал New Scientist исследователь Netflix Пол Дебевек: «Компьютеры уже предоставили такие мощные инструменты, которые упрощают многие вещи. [Это] еще одна вещь, которую мы можем упростить, чтобы талантливые художники, которые у нас есть, могли сосредоточиться на артистизм, на самом деле заставляющий вещи выглядеть лучше».

Netflix делает ставку на ИИ, чтобы не только улучшить впечатления зрителей, но и упростить работу за кулисами. Сценаристы могут ненавидеть проникновение ИИ в их бизнес, но чувствуют ли художники визуальных эффектов то же самое?