5 нейросетей, создающих видео: какие есть и как ими пользоваться

Runway ML Gen-2

Модель создали разработчики нейросети для генерации картинок Stable Diffusion — основного конкурента Midjourney и Dall-E 3 . Главной фишкой называют понимание объема: алгоритм умеет додумывать, как выглядят предметы с других ракурсов. Stable Diffusion Video представили в конце ноября 2023 года. Доступно несколько версий.

Что умеет: генерирует видео по картинке и текстовому запросу
Поддерживает ли русский язык: интерфейс на английском, промпты понимает на русском
Сколько бесплатных попыток: от 13 до 15 видео по 4 секунды в день
Что дает подписка: ее нет, но можно докупить 50 генераций за 10 $⁣ ( 1000 ₽) или 300 генераций за 50 $⁣ ( 5000 ₽), оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Что умеет: генерирует видео по текстовому запросу, картинке и видео
Поддерживает ли русский язык: интерфейс на английском, но промпты понимает на русском
Сколько бесплатных попыток: три ролика по три секунды в день
Что дает подписка: больше генераций и экспорт без водяного знака стоит 8 $⁣ ( 723 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Pika — это нейросеть, разработанная двумя аспирантами Стэнфордского университета. Каждому пользователю, в том числе из России, бесплатно выдается 250 кредитов на генерацию видео. На один ролик тратится 10 кредитов. Когда эти кредиты закончатся, пользователям будут начисляться до 30 кредитов ежедневно. Также есть возможность оформить подписку за $8 и $28 ежемесячно. Они предоставляют большее количество кредитов, бесплатную функцию липсинка (синхронизация движения губ и текста), высокое качество видео, возможность скачать ролик без водяного знака, увеличить длину видео.

За 11 кредитов вы получаете от двух до четырех вариантов изображений. Из них можно выбрать любое и анимировать уже без дополнительной траты кредитов. Если картинки не понравились, можно потратить еще 11 кредитов на создание новой партии. Это удобно: пользователю не только дают выбор, но и позволяют сразу внести изменения, не дожидаясь создания анимации.

Kandinsky Video — это бесплатная нейросеть для генерации видео, разработанная «Сбером» и представленная в ноябре 2023 года. Kandinsky Video создает анимированные видеоролики длительностью до 16 секунд. Доступны три варианта соотношения сторон: 1:1 (640х640 px), 9:16 (480х854 px) и 16:9 (854х480 px).

Genmo — это нейросеть, генерирующая видео высокого качества. Ее разработали ряд ученых и бывших сотрудников Google. Нейросеть доступна всем желающим, в том числе из России. Вводить запросы можно как на английском, так и на русском языке. Пользователи могут генерировать до 100 видео в день длительностью до шести секунд. Подписка $10 в месяц дает возможность создавать до 1000 видео в день, экспортировать видео без водяного знака и приоритетный доступ к новым моделям.

«Шедеврум»

Да, пока еще не так хорошо, как текст или картинки. У нейросетей для генерации видео есть серьезные ограничения: они не могут создать ролик длиннее нескольких секунд, а уровень реализма пока далек от какого-нибудь Midjourney. Сгенерировать одну хорошую картинку — уже непросто. А в видео надо не только создавать множество кадров, но и сделать так, чтобы они соотносились друг с другом.

Все видео, сгенерированные в рамках одной сессии, отображаются в ленте слева. Это удобно, если нужно сделать несколько роликов и собрать из них последовательную историю. Неудачные кадры можно удалить, чтобы не мешались. Однако нет возможности поменять порядок.

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Что умеет: генерирует видео по текстовому запросу или картинке
Поддерживает ли русский язык: интерфейс на английском, но промпты понимает на русском
Сколько бесплатных попыток: ежедневно по 25 видео продолжительностью 3 секунды
Что дает подписка: больше генераций и экспорт без водяного знака за 10 $⁣ ( 900 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Вторая модель Runway — самая продвинутая среди доступных широкой публике нейросетей для видео. Она хорошо рисует переходы между кадрами, особенно при анимации картинок и фотографий. Изображение «штормит» заметно меньше, чем у других сервисов. А еще у нее есть режим, с которым можно генерировать серию видеороликов с похожим визуальным стилем.

Во время генерации видео Genmo предлагает подсказки для улучшения запроса. Если их использовать, то на это уйдет «топливо». Они работают только при вводе запроса на английском и то не при каждом запросе. Стили каждый раз случайные. К примеру, по промпту «смешное видео с кошкой, гиперреализм» он выдал такие предложения: