Нейросети для создания видео: 7 инструментов и что они могут

Как работают нейросети для создания видео

Gen-2 доступна всем желающим, в том числе пользователям из России. В качестве пробного периода доступно 105 бесплатных секунд генерации. Этого хватит примерно для 26 четырехсекундных видео. Ежемесячно пользователям также предоставляют 25 бесплатных секунд. Чтобы генерировать больше видео, нужно оформить платную подписку. Она стоит от $12 до $125 в месяц в зависимости от тарифа.

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Бесплатная версия: есть, в ней доступна генерация трех минут видео в месяц + шесть стандартных аватаров и набор голосов AI на 130+ языках. Платная версия: от €20 в месяц. Водяные знаки: да. Генерация по тексту: да. Генерация по фото: нет. Озвучка на русском языке: да, но с акцентом. Возможность улучшения качества другого видео: нет. Результат: забавно.

Сколько стоит: бесплатно. Водяные знаки в сгенерированном нейросетью видео: нет. Нейросеть генерирует видео по промптам на русском языке: да. Длительность роликов: зависит от промпта. Генерация по тексту: да. Генерация по фото: нет. Возможность монтажа видео: нет. Эффекты: зум, таймлапс, отдаление, панорама, подъем, морфинг, вращение, ручной и т. д. Накладывает ли нейросеть голос на видео: нет. Может ли нейросеть улучшить качество другого видео: нет. Результат: мы получили не видео.

Бесплатная версия: есть, можно генерировать 25 бесплатных секунд в месяц. Платная версия: от $12 до $125 в месяц. Водяные знаки: нет, есть ненавязчивое лого. Генерация по промптам на русском языке: нет. Генерация по тексту: да. Нейросеть может сделать видео из фото: да. Эффекты: зум, вращение, панорама, наклон. Стили: несколько десятков, среди них — аниме, архитектура, кинематограф, лес, макро и др. Озвучка: нет. Возможность улучшения качества другого видео: нет. Возможность замены лица: да. Результат: сомнительный.

Pika — это нейросеть, разработанная двумя аспирантами Стэнфордского университета. Каждому пользователю, в том числе из России, бесплатно выдается 250 кредитов на генерацию видео. На один ролик тратится 10 кредитов. Когда эти кредиты закончатся, пользователям будут начисляться до 30 кредитов ежедневно. Также есть возможность оформить подписку за $8 и $28 ежемесячно. Они предоставляют большее количество кредитов, бесплатную функцию липсинка (синхронизация движения губ и текста), высокое качество видео, возможность скачать ролик без водяного знака, увеличить длину видео.

Kandinsky Video — это бесплатная нейросеть для генерации видео, разработанная «Сбером» и представленная в ноябре 2023 года. Kandinsky Video создает анимированные видеоролики длительностью до 16 секунд. Доступны три варианта соотношения сторон: 1:1 (640х640 px), 9:16 (480х854 px) и 16:9 (854х480 px).

Сколько стоит: HeyGen предлагает четыре тарифных плана. Бесплатный включает одну бесплатную генерацию, более 120 аватаров и более 300 голосов. Платные тарифы начинаются с 24 долларов и 180 бесплатных генераций в месяц. В платной версии можно генерировать собственные аватары и голоса, добавлять автоматические субтитры, а также улучшать качество до 4K и ускорять создание видео.

Fliki — нейронка для создания видео по сценариям, постам и статьям из блога

Сколько стоит: есть бесплатная версия, в которую входит генерация 25 секунд видео (продолжительность одного видео — до 16 секунд), три попытки и 5 Гб памяти. В бесплатной версии на видео будет водяной знак. Чтобы его убрать, нужно купить подписку за 12 долларов в месяц.

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Сколько стоит: бесплатно. Водяные знаки: нет. Генерация по промптам на русском языке: да. Генерация по тексту: да. Генерация по фото: да. Длительность роликов: до 16 секунд. Форматы: видео (модель генерирует цельное видео), анимация (последовательность картинок, объединенных в видео). Озвучка: нет. Возможность улучшения качества другого видео: нет. Результат: криповый)))

Genmo — это нейросеть, генерирующая видео высокого качества. Ее разработали ряд ученых и бывших сотрудников Google. Нейросеть доступна всем желающим, в том числе из России. Вводить запросы можно как на английском, так и на русском языке. Пользователи могут генерировать до 100 видео в день длительностью до шести секунд. Подписка $10 в месяц дает возможность создавать до 1000 видео в день, экспортировать видео без водяного знака и приоритетный доступ к новым моделям.

Эта нейросеть появилась относительно давно и сходу привлекла к себе внимание многих. Но даже спустя годы я бы не стал рекомендовать ее. Главная причина — неестественность видео. Разумеется, никакие нейросети всё еще не способны создавать ролики, неотличимые от реальной съемки. Но в Runway ML Gen-2 объекты получаются жуткими: не только руки у людей, к чему мы привыкли, но и в целом весь видеоряд переливается из одного в другой. В общем, рекомендую пробовать только для тестирования или развлечения.

Создавать видеопрезентации продуктов, озвучивать тексты, переводить видео на разные языки дорого и сложно, а еще требует времени. Искусственный интеллект для создания видео может взять на себя часть рутинных и даже творческих задач. В статье собрали нейросети для создания видео из фото, текста, видеоотрывка или изображения. А еще объяснили, как написать правильный промпт.

Synthesia — это нейросеть не столько для редактирования, сколько для создания роликов, где на экране присутствует автор. В общем, подойдет для создания лекций, презентаций. Она известна в первую очередь тем, что легко преобразует текстовые промпты в видео и сама озвучивает ролики. Здесь можно сделать аватар, обучить его под себя и использовать затем в создании видео. Также мне нравится, что в этой нейросети есть встроенный редактор сценариев AI Script Assistant, который работает аналогично с текстовыми ИИ и всегда может дать подсказку.

Luma может создать 3D-модель, а может — полноценное видео на основе изображения и текста. Из всех нейросетей, которые я тестировал, Luma мне нравится больше всего. Она дает по-настоящему хороший результат. Именно этот сервис я использую для работы, так как мне нужно анимировать объекты. И Luma делает это лучше конкурентов.

«Шедеврум»

Бесплатная версия: есть, до пяти генераций в день. Платная версия: $14 хватит на генерацию 120 пятисекундных роликов. Есть и другие тарифы. Водяные знаки: да. Генерация по промптам на русском языке: нет. Генерация по тексту: да. Генерация по фото: да. Длительность роликов: до 20 секунд. Озвучка: нет. Возможность улучшения качества другого видео: нет. Результат: достойный.

Topaz умеет улучшать качество видео, делает из размытой картинки четкую, применяет шумоподавление. Его можно использовать не только для реалистичных видео, но и для мультипликации или CG-контента. А еще эта нейросеть умеет сглаживать так называемые чересстрочные кадры (деинтерлейсинг), из-за этого ролик становится более плавным, выглядит профессионально.

Укажите, для чего именно вы создаете видео: продемонстрировать продукт, рассказать историю, создать настроение или наглядно показать какой-то процесс. Затем опишите целевую аудиторию и ожидаемый результат — например, эмоции пользователей, которые вы хотите вызвать.

Видеоролики, сгенерированные ИИ, можно и нужно использовать в рекламных объявлениях. Движущаяся картинка — это отличный способ привлечь внимание, а с помощью нейросетей можно делать эту картинку вкусной, динамичной, отвечающей нашим запросам и вызывающей интерес ЦА.

Мы сделали видео двумя способами: и без фото, и по фото. В обоих случаях нейросеть сделала именно то, что мы у нее просили, но с эффектом зловещей долины — на первом видео у собаки задвоился язык, на втором она поменяла за несколько секунд 3 породы. Да и вообще картинка поехала.

Бесплатная версия: есть, можно создать до 100 видео в день длительностью до шести секунд. Платная версия: $10 в месяц, можно создавать до 1000 видео в день. Водяные знаки: есть, без них экспортировать видео можно в платной версии. Генерация по промпт на русском языке: работает. Генерация по тексту: да. Генерация по фото: да. Эффекты: зум, вращение, панорама, наклон. Дополнительные эффекты: есть. Озвучка: нет. Возможность улучшения качества другого видео: нет. Результат: хороший.