5 нейросетей, создающих видео: какие есть и как ими пользоваться

«Шедеврум»

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Остаток «топлива» в редакторе и профиле не указывается, расход для генерации тоже. Но экспериментально я выяснила, что каждая попытка расходует четыре пункта «топлива». Ежедневно можно генерировать по 25 трехсекундных видео бесплатно. У меня на старте было 200 пунктов «топлива» вместо заявленных 100. Вероятно, бонусную сотню выдают за регистрацию.

Во время генерации видео Genmo предлагает подсказки для улучшения запроса. Если их использовать, то на это уйдет «топливо». Они работают только при вводе запроса на английском и то не при каждом запросе. Стили каждый раз случайные. К примеру, по промпту «смешное видео с кошкой, гиперреализм» он выдал такие предложения:

Да, пока еще не так хорошо, как текст или картинки. У нейросетей для генерации видео есть серьезные ограничения: они не могут создать ролик длиннее нескольких секунд, а уровень реализма пока далек от какого-нибудь Midjourney. Сгенерировать одну хорошую картинку — уже непросто. А в видео надо не только создавать множество кадров, но и сделать так, чтобы они соотносились друг с другом.

Что умеет: генерирует видео по текстовому запросу, картинке и видео
Поддерживает ли русский язык: интерфейс на английском, но промпты понимает на русском
Сколько бесплатных попыток: три ролика по три секунды в день
Что дает подписка: больше генераций и экспорт без водяного знака стоит 8 $⁣ ( 723 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Последними идут Бременские музыканты и тамошняя принцесса. Вот оно, жестокое влияние бодипозитивных тенденций. Если раньше этот персонаж, сидящий на диете из «яиц диетических» подходил под классическое опредение анорексички: лучше быть 30-килограммовой принцессой, чем 60-килограммовой коровой, то теперь все наоборот.

Kandinsky Video

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Что умеет: генерирует видео по текстовому запросу или картинке
Поддерживает ли русский язык: интерфейс на английском, но промпты понимает на русском
Сколько бесплатных попыток: ежедневно по 25 видео продолжительностью 3 секунды
Что дает подписка: больше генераций и экспорт без водяного знака за 10 $⁣ ( 900 ₽) в месяц, оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Все видео, сгенерированные в рамках одной сессии, отображаются в ленте слева. Это удобно, если нужно сделать несколько роликов и собрать из них последовательную историю. Неудачные кадры можно удалить, чтобы не мешались. Однако нет возможности поменять порядок.

Вторым пошел Винни-Пух и все-все-все. Тут комментить — только портить. Выражение морд исходных героев (особенно Пятачка) в полной мере отражает всю степень их а*уя от произошедшей трансформации. Особенно трудно Кролику, который стал Кенгой. Мало того, что он сменил вид, так еще и пол. Понятен шок Пятачка, он превратился в зародыш, запутавшийся в собственных ногах. Ну а Нейро-Винни ночнушке, чтобы не участвовать в этом фарсе, просто застрелился палкой.

Что умеет: генерирует видео по картинке и текстовому запросу
Поддерживает ли русский язык: интерфейс на английском, промпты понимает на русском
Сколько бесплатных попыток: от 13 до 15 видео по 4 секунды в день
Что дает подписка: ее нет, но можно докупить 50 генераций за 10 $⁣ ( 1000 ₽) или 300 генераций за 50 $⁣ ( 5000 ₽), оплатить с российской карты нельзя
В каком формате экспортирует: MP4

Первым в молот нейробота Кандинский попал Ёжик в тумане. Глядя на полученный результат, мне открылось главное: нейросеть и авторы эпохального Ежа по ходу курили примерно одно и то же. Только воздействие оказалось разным. А может, это просто разные стадии. Слева у ежика приход, а справа — ну сами видите. Неожиданная побочка Совы — левитация.

Как писать запросы для нейросетей, генерирующих видео

Pika — это нейросеть, разработанная двумя аспирантами Стэнфордского университета. Каждому пользователю, в том числе из России, бесплатно выдается 250 кредитов на генерацию видео. На один ролик тратится 10 кредитов. Когда эти кредиты закончатся, пользователям будут начисляться до 30 кредитов ежедневно. Также есть возможность оформить подписку за $8 и $28 ежемесячно. Они предоставляют большее количество кредитов, бесплатную функцию липсинка (синхронизация движения губ и текста), высокое качество видео, возможность скачать ролик без водяного знака, увеличить длину видео.

Модель создали разработчики нейросети для генерации картинок Stable Diffusion — основного конкурента Midjourney и Dall-E 3 . Главной фишкой называют понимание объема: алгоритм умеет додумывать, как выглядят предметы с других ракурсов. Stable Diffusion Video представили в конце ноября 2023 года. Доступно несколько версий.

Я тоже видела и восхищалась. Так я решила прикоснуться своим неискусственным интеллектом к искусственному и полезла в бот Кандинский генерить новые прекрасные изображения — вариации кадров из старых советских мультфимов. Дабы увековечить и без того вечное нематериальное.

Gen-2 доступна всем желающим, в том числе пользователям из России. В качестве пробного периода доступно 105 бесплатных секунд генерации. Этого хватит примерно для 26 четырехсекундных видео. Ежемесячно пользователям также предоставляют 25 бесплатных секунд. Чтобы генерировать больше видео, нужно оформить платную подписку. Она стоит от $12 до $125 в месяц в зависимости от тарифа.

Вторая модель Runway — самая продвинутая среди доступных широкой публике нейросетей для видео. Она хорошо рисует переходы между кадрами, особенно при анимации картинок и фотографий. Изображение «штормит» заметно меньше, чем у других сервисов. А еще у нее есть режим, с которым можно генерировать серию видеороликов с похожим визуальным стилем.

Едем дальше. Падал Прошлогодний снег. Тут я залью картинки по отдельности, чтобы не замылились детали. Честно говоря, я затрудняюсь с выбором описания нейро-варианта. То ли это «У самовара я и моя Маша», то ли это Дуримар с недовольной клиенткой в своей лавке ядов и гадов. Отдельно смущают два небольших пожарных гидранта по обеим сторонам персонажей и доживающая свои последние часы мексиканская агава на заднем плане. Короче, варили-варили мухоморы на продажу, но нечаянно сами наклюкались.