5 нейросетей, создающих видео: какие есть и как ими пользоваться

Как анимировать изображение с помощью Runway Gen-2

И, наконец, с помощью инструмента Motion brush можно создать маску и выделить только те участки, которые должны шевелиться, а всё остальное оставить неподвижным. У этой кисти тоже есть свои настройки: можно указать, куда именно должны двигаться элементы картинки.

По мере развития нейросетей их возможности становятся всё более продвинутыми, а область распространения всё шире. Нейросеть Runway пытается заменить не только фотографа или художника, но и видеооператора с режисёром. Он умеет генерировать четырёхсекундные видео на заданную тему, которые можно использовать по отдельности или смонтировать в короткометражный фильм или рекламный ролик.

Ещё у нейросети есть режим работы с картинкой и текстовым описанием одновременно. В более ранней версии интерфейса этот режим находился во вкладке Text — просто в нём было окошко для загрузки изображения. В него можно было перетянуть картинку, которую нейросеть использовала в качестве образца стиля, и генерировала похожее по стилю видео с заданным в текстовом поле описанием (в обучающих роликах на сайте до сих пор показан именно такой способ работы).

А вот количество ресурсов для генерации и в стандартной, и в бесплатной версии одинаковое: 125 секунд сгенерированного видео в месяц. Правда, в стандартной подписке можно при необходимости докупить ещё нейросетевого времени, ну а бесплатным пользователям придётся ждать месяц (и, кстати, через месяц им дадут уже в пять раз меньше времени, всего 25 секунд).

А вот в актуальной версии интерфейса появилась новая вкладка Image+Description, которая ведёт себя странно: нейросеть просто анимирует загруженную картинку, а не использует её для копирования стиля. Описание в текстовом поле при этом просто игнорируется. Результат очень похож на то, что делает нейросеть во вкладке Image для работы с картинками без текста.

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Для начала надо найти в интернетах сайт нейросети Runway и зарегистрироваться на нём. На странице перед регистрацией рассказывают о том, как прекрасна нейросеть и как мощны её лапищи, а после регистрации сразу предлагают сменить бесплатный тариф на стандартный за 12 долларов в месяц — на нём можно генерировать видео повышенного разрешения без водяных знаков и с меньшим временем ожидания.

Genmo — это нейросеть, генерирующая видео высокого качества. Ее разработали ряд ученых и бывших сотрудников Google. Нейросеть доступна всем желающим, в том числе из России. Вводить запросы можно как на английском, так и на русском языке. Пользователи могут генерировать до 100 видео в день длительностью до шести секунд. Подписка $10 в месяц дает возможность создавать до 1000 видео в день, экспортировать видео без водяного знака и приоритетный доступ к новым моделям.

«Шедеврум»

Gen-2 доступна всем желающим, в том числе пользователям из России. В качестве пробного периода доступно 105 бесплатных секунд генерации. Этого хватит примерно для 26 четырехсекундных видео. Ежемесячно пользователям также предоставляют 25 бесплатных секунд. Чтобы генерировать больше видео, нужно оформить платную подписку. Она стоит от $12 до $125 в месяц в зависимости от тарифа.

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Нейросеть Runway Gen-2 умеет не только добавлять движение к готовым картинкам, но и создавать видео с нуля. Для этой работы используется то же самое окно, только вместо вкладки Image нужно переключиться на вкладку Text и ввести описание в текстовое поле.

Если хочется большего контроля над видео, придётся покопаться в настройках. В общих настройках (1) есть только один важный пункт — галочка Interpolate. Она отвечает за интерполяцию промежуточных кадров и делает видео более плавным. А вот галочки Upscale для увеличения разрешения видео и Remove watermark для удаления водяного знака доступны только платным подписчикам.

Kandinsky Video — это бесплатная нейросеть для генерации видео, разработанная «Сбером» и представленная в ноябре 2023 года. Kandinsky Video создает анимированные видеоролики длительностью до 16 секунд. Доступны три варианта соотношения сторон: 1:1 (640х640 px), 9:16 (480х854 px) и 16:9 (854х480 px).

Нейросетевых инструментов здесь хватает: есть и генератор картинок по текстовому описанию, инструменты удаления и расширения фона, цветокоррекция и размытие лиц на видео. Но в первую очередь нас интересуют инструменты для работы с видео: создание видео из картинок и по текстовому запросу.