5 нейросетей, создающих видео: какие есть и как ими пользоваться

«Шедеврум»

Kandinsky Video — это бесплатная нейросеть для генерации видео, разработанная «Сбером» и представленная в ноябре 2023 года. Kandinsky Video создает анимированные видеоролики длительностью до 16 секунд. Доступны три варианта соотношения сторон: 1:1 (640х640 px), 9:16 (480х854 px) и 16:9 (854х480 px).

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Что умеет: генерирует видео по текстовому запросу, по картинке или по запросу и картинке
Поддерживает ли русский язык: нет
Сколько бесплатных попыток: 105 секунд видео на один аккаунт
Что дает подписка: больше генераций, улучшение качества и экспорт без водяного знака от 12 $⁣ ( 1085 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Genmo — это нейросеть, генерирующая видео высокого качества. Ее разработали ряд ученых и бывших сотрудников Google. Нейросеть доступна всем желающим, в том числе из России. Вводить запросы можно как на английском, так и на русском языке. Пользователи могут генерировать до 100 видео в день длительностью до шести секунд. Подписка $10 в месяц дает возможность создавать до 1000 видео в день, экспортировать видео без водяного знака и приоритетный доступ к новым моделям.

Модель создали разработчики нейросети для генерации картинок Stable Diffusion — основного конкурента Midjourney и Dall-E 3 . Главной фишкой называют понимание объема: алгоритм умеет додумывать, как выглядят предметы с других ракурсов. Stable Diffusion Video представили в конце ноября 2023 года. Доступно несколько версий.

Runway ML Gen-2

Остаток «топлива» в редакторе и профиле не указывается, расход для генерации тоже. Но экспериментально я выяснила, что каждая попытка расходует четыре пункта «топлива». Ежедневно можно генерировать по 25 трехсекундных видео бесплатно. У меня на старте было 200 пунктов «топлива» вместо заявленных 100. Вероятно, бонусную сотню выдают за регистрацию.

Что умеет: генерирует видео по текстовому запросу, картинке и видео
Поддерживает ли русский язык: интерфейс на английском, но промпты понимает на русском
Сколько бесплатных попыток: три ролика по три секунды в день
Что дает подписка: больше генераций и экспорт без водяного знака стоит 8 $⁣ ( 723 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

За 11 кредитов вы получаете от двух до четырех вариантов изображений. Из них можно выбрать любое и анимировать уже без дополнительной траты кредитов. Если картинки не понравились, можно потратить еще 11 кредитов на создание новой партии. Это удобно: пользователю не только дают выбор, но и позволяют сразу внести изменения, не дожидаясь создания анимации.

Да, пока еще не так хорошо, как текст или картинки. У нейросетей для генерации видео есть серьезные ограничения: они не могут создать ролик длиннее нескольких секунд, а уровень реализма пока далек от какого-нибудь Midjourney. Сгенерировать одну хорошую картинку — уже непросто. А в видео надо не только создавать множество кадров, но и сделать так, чтобы они соотносились друг с другом.

Вторая модель Runway — самая продвинутая среди доступных широкой публике нейросетей для видео. Она хорошо рисует переходы между кадрами, особенно при анимации картинок и фотографий. Изображение «штормит» заметно меньше, чем у других сервисов. А еще у нее есть режим, с которым можно генерировать серию видеороликов с похожим визуальным стилем.

Что умеет: генерирует видео по картинке и текстовому запросу
Поддерживает ли русский язык: интерфейс на английском, промпты понимает на русском
Сколько бесплатных попыток: от 13 до 15 видео по 4 секунды в день
Что дает подписка: ее нет, но можно докупить 50 генераций за 10 $⁣ ( 1000 ₽) или 300 генераций за 50 $⁣ ( 5000 ₽), оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Pika — это нейросеть, разработанная двумя аспирантами Стэнфордского университета. Каждому пользователю, в том числе из России, бесплатно выдается 250 кредитов на генерацию видео. На один ролик тратится 10 кредитов. Когда эти кредиты закончатся, пользователям будут начисляться до 30 кредитов ежедневно. Также есть возможность оформить подписку за $8 и $28 ежемесячно. Они предоставляют большее количество кредитов, бесплатную функцию липсинка (синхронизация движения губ и текста), высокое качество видео, возможность скачать ролик без водяного знака, увеличить длину видео.

Во время генерации видео Genmo предлагает подсказки для улучшения запроса. Если их использовать, то на это уйдет «топливо». Они работают только при вводе запроса на английском и то не при каждом запросе. Стили каждый раз случайные. К примеру, по промпту «смешное видео с кошкой, гиперреализм» он выдал такие предложения: