Adobe вступает в мир генеративного искусственного интеллекта для видео. Сегодня компания запускает свою модель видео Firefly, которая была анонсирована еще в начале этого года, в нескольких новых инструментах, включая некоторые прямо в Premiere Pro, что позволит творческим людям расширять кадры и генерировать видео из статичных изображений и текстовых подсказок.
Первый инструмент — Generative Extend — выходит в бета-версии для Premiere Pro. Он может использоваться для расширения конца или начала кадра, который немного короткий, или для коррекции сдвигов взглядов или неожиданных движений в середине съемки.
Кадры могут быть расширены только на две секунды, поэтому Generative Extend подходит только для небольших коррекций, но это может заменить необходимость повторной съемки для исправления мелких проблем. Расширенные кадры могут быть сгенерированы в разрешении 720p или 1080p при 24 кадрах в секунду. Он также может использоваться для аудио, чтобы сгладить монтажи, хотя с ограничениями. Например, он может расширить звуковые эффекты и фоновый шум на десять секунд, но не речь или музыку.
Два других инструмента для генерации видео запускаются в веб-версии. Инструменты Text-to-Video и Image-to-Video от Adobe, которые были анонсированы в сентябре, теперь доступны в ограниченной публичной бета-версии в веб-приложении Firefly.
Text-to-Video работает аналогично другим генераторам видео, таким как Runway и Sora от OpenAI — пользователи просто вводят текстовое описание того, что им нужно сгенерировать. Он может эмулировать различные стили, такие как обычное «реальное» кино, 3D-анимация и стоп-моушн, и сгенерированные клипы могут быть дополнительно улучшены с помощью выбора «камерных управлений», которые имитируют такие вещи, как углы съемки, движение и расстояние съемки.
Image-to-Video идет дальше, позволяя пользователям добавить изображение-ориентир наряду с текстовой подсказкой, чтобы обеспечить больший контроль над результатами. Adobe предлагает использовать это для создания дополнительных съемок из изображений и фотографий или помочь визуализировать повторные съемки, загрузив статичное изображение из существующего видео.
Текстовые и изображенческие видео могут быть длиной до пяти секунд, и качество достигает 720p и 24 кадров в секунду. Adobe работает над «турбо-режимом», чтобы ускорить процесс генерации. Видео, созданные или отредактированные с использованием модели видео Firefly от Adobe, могут быть встроены в контент с учетом авторских прав и использования ИИ при публикации в Интернете.
Хотя эти инструменты имеют свои ограничения, Adobe утверждает, что они «коммерчески безопасны», потому что они обучены на контенте, разрешенном для использования. Это может быть решающим фактором для некоторых пользователей, учитывая, что модели от других поставщиков подвергаются критике за то, что, возможно, они были обучены на тысячах видеороликов с YouTube или, в случае Meta, даже на ваших личных видео.
Хотя пока неясно, когда эти инструменты выйдут из бета-версии, они уже доступны публично, что не скажешь о генераторах Sora от OpenAI, Movie Gen от Meta и Veo от Google.