Нейросети для создания видео: ТОП-5 бесплатных нейросетей

Заключение

Раньше, чтобы сделать красивую аватарку для социальных сетей, люди обращались за помощью к фотографам и художникам. Сегодня все стало намного проще, потому что существуют нейросети, способные из обычной фотографии сделать произведение искусства. В ноябре 2022 года большую популярность обрела нейросеть Lensa — скачав одноименное приложение на свой смартфон, вы можете загрузить несколько своих фотографий и получить целый набор аватарок в разных стилях. Хотите фото, где вы похожи на стилягу из второй половины 20 века? Или вам интересно узнать, как бы выглядело ваше лицо внутри космического скафандра? Удовлетворить любопытство и сделать красивую аватарку можно прямо сейчас. Просто следуйте нашей инструкции.

Приложение Lensa вышло в начале 2022 года, и с самого начала предназначалось для улучшения фотографий при помощи нейросети. Владельцы смартфонов на Android и iOS получили возможность в пару нажатий ретушировать портреты, размывать или изменять фон, накладывать эффекты и так далее.

Runway – нейросеть, которая подходит для генерации видео из текста и по фотографиям (картинкам). Может использоваться для редактирования готовых роликов, содержит встроенные библиотеки эффектов и инструменты для работы с анимацией и звуком. Есть веб-версия, а также приложения для iOS и Андроид.

Gen-2 доступна всем желающим, в том числе пользователям из России. В качестве пробного периода доступно 105 бесплатных секунд генерации. Этого хватит примерно для 26 четырехсекундных видео. Ежемесячно пользователям также предоставляют 25 бесплатных секунд. Чтобы генерировать больше видео, нужно оформить платную подписку. Она стоит от $12 до $125 в месяц в зависимости от тарифа.

Kandinsky Video — это бесплатная нейросеть для генерации видео, разработанная «Сбером» и представленная в ноябре 2023 года. Kandinsky Video создает анимированные видеоролики длительностью до 16 секунд. Доступны три варианта соотношения сторон: 1:1 (640х640 px), 9:16 (480х854 px) и 16:9 (854х480 px).

Genmo — это нейросеть, генерирующая видео высокого качества. Ее разработали ряд ученых и бывших сотрудников Google. Нейросеть доступна всем желающим, в том числе из России. Вводить запросы можно как на английском, так и на русском языке. Пользователи могут генерировать до 100 видео в день длительностью до шести секунд. Подписка $10 в месяц дает возможность создавать до 1000 видео в день, экспортировать видео без водяного знака и приоритетный доступ к новым моделям.

Нейросети можно использовать для генерирования и обработки видеоконтента. Они способны заменить продакшн, когда вместо команды, которая создаёт видео, есть один человек, который работает с нейросетью. Нейросети помогают переводить текст в аудио, анимировать неподвижные объекты, удалять из кадра лишние объекты, менять фон, выполнять множество других операций.

В ноябре в приложении Lensa появилась новая функция «Magic Avatars», которая при помощи нейросети изучает лицо человека и создает пачку из 50-200 аватарок в разных стилях. Давайте узнаем, как нейросеть рисует по фото и что из этого получается — результат впечатляет.

Как оплатить приложение Lensa

Далее приложение просит выбрать из галереи 10-20 фотографий, на которых видно только ваше лицо. Будет хорошо, если они сняты с разных ракурсов, на них видны разные эмоции и используется разнообразный фон. Если соблюсти все требования, аватарки получатся наивысшего качества.

Недостатки: при генерировании текста на русском заметен иностранный акцент (иногда неправильно ставятся ударения, звуки могут искажаться и произноситься слишком быстро или наоборот, замедленно), работа с видео доступна только на платных тарифах.

Стартап Runway AI inc. представил нейросеть для генерации видео Gen-2 в марте 2023 года. Среди возможностей нейросети — генерация видео на основе текстового описания, изображения и подписи к нему, анимирование изображения, стилизация готового видео, добавление новых элементов на готовое видео. Также нейросеть позволяет генерировать картинки и аудио.

Бесплатно можно обработать только 3 видео общим объемом до 5 ГБ и сохранить результаты в разрешении 720р, с водяным знаком. Расширить лимиты и избавиться от водяного знака на видео вы можете, перейдя на один из платных тарифов: Standard (от 12 $ /мес.), Pro (от 28 $ /мес.), Unlimited (от 76 $ /мес.) или Enterprise (функционал и стоимость оговариваются индивидуально).

После выбора фотографий, необходимо указать свой пол — чтобы результат вас порадовал, рекомендуется выбрать верный, без экспериментов. После этого нужно выбрать, сколько вариантов аватарок вы хотите получить: 50, 100 или 200. После оплаты, нейросеть начнет рисовать по фотографиям, которые вы загрузили. Процесс может занять более 20 минут, так что надо запастись терпением.

Создание видео — одно из направлений, где с успехом применяются нейросети. Возможность генерировать ролики появляется на различных платформах для работы видео, запускаются специализированные сервисы на основе искусственного интеллекта, «заточенные» на работу с видеоконтентом. В статье рассмотрим 5 наиболее популярных нейросетей для создания видео из фотографий и по текстовому описанию. Разберемся в функционале и протестируем их возможности на практике.

Бесплатно доступна генерация одного двухминутного ролика в месяц. Объем текста для озвучки ограничен 200 символами, максимальное количество слайдов — 6. В бесплатной версии на видео отображается водяной знак – логотип Visper, скачивание запрещено. Чтобы убрать логотип, увеличить лимиты и получить доступ к функционалу, закрытому в демоверсии, нужно перейти на один из платных тарифов: Поминутный (от 90 руб. / мин.), Подписка (1 490 руб. / мес.) или Бизнес (договорная цена).

Visper — нейросеть от Сбера, которая позволяет озвучивать текст с использованием виртуальных персонажей, созданных на основе фотографий или готовых аватаров из встроенной библиотеки. Содержит набор инструментов для видеомонтажа, дает возможность получать видео профессионального уровня без проведения съемок. Существует в форме веб-сервиса с русским интерфейсом, официальных ботов и приложений пока нет.

Как работает нейросеть Lensa

Сейчас нас интересует только функция «Magic Avatars», которая запускается через кнопку в левом верхнем углу экрана. Разработчики предупреждают, что на некоторых изображениях будут видны искажения — нейросеть Lensa работает хорошо, но не идеально. Приняв этот риск, нужно нажать на кнопку «Попробовать» в нижней части экрана.

ElevenLabs – сервис, на котором можно перевести речь в видео с одного языка на другой или сгенерировать аудио из текста. Поддерживает 29 языков, включая русский. Содержит встроенную библиотеку мужских и женских голосов в широком диапазоне возрастных групп. Позволяет создавать имитации реальных голосов, с точным воспроизведением их интонации и тембра. Кроме веб-сервиса, есть мобильные приложения (для Андроид и айфонов).

Сгенерированное видео Gen-2 по запросу «A multicolored butterfly flies over a chamomile field in summer, professional color correction, promotional video» (Разноцветная бабочка летит над ромашковым полем летом, профессиональная цветокоррекция, рекламное видео)

Шедеврум – нейросеть для генерации текста, изображений и видео по текстовому описанию. Функции для генерации доступны в мобильных приложениях для iOS и Android. Есть веб-сервис с ограниченными возможностями, на котором можно посмотреть и оценить работы других авторов. При нажатии на «+» открывается страница с предложением скачать и установить приложение.

Приложение Lensa можно скачать бесплатно. Но функция «Magic Avatars» платная — за наборы аватарок нужно платить. На момент написания статьи, версия для iOS стоит от 279 до 649 рублей. Версия для Android выдала другую цену, от 189 до 429 рублей. Пожалуй, это единственный минус приложения.

На тарифе для авторов и бизнеса можно генерировать видео длительностью до 5 и 20 минут соответственно (до 120 / 600 в месяц минут в общей сложности). Среди дополнительных преимуществ бизнес-тарифа: приоритетная обработка, возможность создания роликов в 4К качестве и доступ к API. Для большого бизнеса ограничений нет: может быть предоставлен любой функционал по договорной цене.

Говорящего персонажа можно создать, выбрав аватар из встроенной библиотеки, или загрузив собственную фотографию. Есть опция по замене лица готового аватара на собственное (в платных версиях). Для озвучивания речи вы можете загрузить аудиозапись или ввести текст, выбрав в настройках язык, голос и интонацию. При необходимости можно замедлять и ускорять речь, указывать ударения. Некоторые аватары умеют жестикулировать, что делает видео более реалистичным. Готовые ролики можно скачивать и пересылать в соцсети.

Pika — это нейросеть, разработанная двумя аспирантами Стэнфордского университета. Каждому пользователю, в том числе из России, бесплатно выдается 250 кредитов на генерацию видео. На один ролик тратится 10 кредитов. Когда эти кредиты закончатся, пользователям будут начисляться до 30 кредитов ежедневно. Также есть возможность оформить подписку за $8 и $28 ежемесячно. Они предоставляют большее количество кредитов, бесплатную функцию липсинка (синхронизация движения губ и текста), высокое качество видео, возможность скачать ролик без водяного знака, увеличить длину видео.