Runway: новая нейросеть для работы с видео

LeiaPix

Например, заставить облака плыть по небу, а человека улыбаться. Причем хорошая технология сама поймет, как анимировать объект: отличит ребенка от дерева, учтет, что глаза должны моргать, а не разбегаться в разные стороны. Получаются красивые гифки, которые смотрятся интереснее стандартных фото и картинок.

Если хочется большего контроля над видео, придётся покопаться в настройках. В общих настройках (1) есть только один важный пункт — галочка Interpolate. Она отвечает за интерполяцию промежуточных кадров и делает видео более плавным. А вот галочки Upscale для увеличения разрешения видео и Remove watermark для удаления водяного знака доступны только платным подписчикам.

В библиотеке около 20 примеров. На одних мальчик сдержанно поглядывает по сторонам, моргает и улыбается. На других корчит рожицы и пританцовывает. Чтобы их разглядеть, пришлось увеличить масштаб страницы. Некоторые примеры анимации добавляют песню, которую герой фотографии попытается пропеть.

А вот в актуальной версии интерфейса появилась новая вкладка Image+Description, которая ведёт себя странно: нейросеть просто анимирует загруженную картинку, а не использует её для копирования стиля. Описание в текстовом поле при этом просто игнорируется. Результат очень похож на то, что делает нейросеть во вкладке Image для работы с картинками без текста.

Далее идут настройки движения. General motion (2) отвечает за то, насколько динамичным будет кадр: чем выше значение, тем активнее всё будет двигаться. С помощью Camera motion можно почувствовать себя профессиональным оператором и настроить то, как будет двигаться камера в кадре. Ползунки задают направления движения (вперёд-назад, вправо-влево, вверх-вниз, наклон, поворот и зум) и его интенсивность.

Нейросеть Runway Gen-2 умеет не только добавлять движение к готовым картинкам, но и создавать видео с нуля. Для этой работы используется то же самое окно, только вместо вкладки Image нужно переключиться на вкладку Text и ввести описание в текстовое поле.

Как создать видео по текстовому описанию в Runway Gen-2

И, наконец, с помощью инструмента Motion brush можно создать маску и выделить только те участки, которые должны шевелиться, а всё остальное оставить неподвижным. У этой кисти тоже есть свои настройки: можно указать, куда именно должны двигаться элементы картинки.

Также можно заставить камеру приближаться и отдаляться, задать круговые движения и поменять перспективу. Есть ручные настройки для более продвинутых. Например, амплитуда движений, точка фокуса и степень растяжения краев объекта в фокусе. С помощью специальной кисти и ползунков можно выбрать, что оживлять, а что лучше не двигать.

Нейросетевых инструментов здесь хватает: есть и генератор картинок по текстовому описанию, инструменты удаления и расширения фона, цветокоррекция и размытие лиц на видео. Но в первую очередь нас интересуют инструменты для работы с видео: создание видео из картинок и по текстовому запросу.

Давайте создадим видео с шеф-поваром пиццерии, который стоит у печи и готовит пиццу. Текстовое описание для Runway должно быть на английском языке: Cinematic shot, long shot, wide angle, the chief puts the pizza in the oven, pizzeria on the background, Shallow focus, warm light (Кинематографичный кадр, общий план, шеф-повар кладёт пиццу в печь, пиццерия на заднем плане, малая глубина резкости, тёплый свет).

Качество генерации: ❤️❤️
Удобство использования: 🤩🤩🤩🤩
Есть ли русский язык: нет
Лимиты: примерно 4 анимации, но зависит от выставленных настроек
Сколько стоит: от 5 $⁣ ( 500 ₽) в месяц за дополнительные функции, кредиты и возможность убрать вотермарку
Где доступен: на сайте

Ещё у нейросети есть режим работы с картинкой и текстовым описанием одновременно. В более ранней версии интерфейса этот режим находился во вкладке Text — просто в нём было окошко для загрузки изображения. В него можно было перетянуть картинку, которую нейросеть использовала в качестве образца стиля, и генерировала похожее по стилю видео с заданным в текстовом поле описанием (в обучающих роликах на сайте до сих пор показан именно такой способ работы).