Нейросети для оживления фото: топ-7 бесплатных сервисов для анимации картинок

Сальвадор «Франкенштейн» Дали

Модель художника дорабатывали реальные актеры, которые имели схожую с мастером внешность. Озвучку Дали сделал артист с характерным испанским акцентом. Все это создало «подделку высокого уровня», которая сопровождала гостей музея на выставке «Dali Lives». «Художник» рассказывал истории из своей жизни, цитировал самого себя, открывал дверь и «создавал» картины. Интерактивная система также реагировала на действия посетителей, отвечала на простые вопросы и позировала для селфи.

В обработке и анимации статичных изображений голов использовались три нейросети. Embedder (сеть для выделения признаков) разделяет изображения головы по лицевыми ориентирами на векторы, которые содержат независимую от позы информацию. Generator (сеть порождения изображений) использует их и генерирует набор сверточных слоев, которые обеспечивают устойчивость к искажениям исходника. Discriminator применяют для оценки качества и подлинности результата сети-генератора. В конце система превращает ориентиры лица человека в реалистичные фотопортреты.

Онлайн-сервис заставит ваши фотографии говорить — есть функция липсинга и 30 вариантов голосов. В целом Pika предназначена для работы с видео: можно редактировать ролики, убирать и добавлять персонажей и детали, дорисовывать фон, менять готовое видео по введённому промпту.

Что может: превращать статичные 2D-изображения в анимированные 3D и видео. Фактически этот сервис не вносит серьёзных изменений в картинку и объекты на ней. Анимация создаётся за счёт движения с разной скоростью фона и отдельных участков изображения — получается эффект параллакса. Можно задать параметры вручную или довериться нейросети.

Если нужно быстро оживить фото — добавить активную мимику и эмоции, анимировать фон, на помощь придут нейросети. Вот подборка бесплатных или условно бесплатных сервисов, где вы можете попробовать создать движущиеся или даже «говорящие» фото — для практических целей или просто для веселья. Сервисы не работают без регистрации — как минимум понадобится авторизация через Google-аккаунт.

Условия использования: в бесплатном режиме можно генерировать картинки с 3D-моушном и видеосемплы до 20 секунд и скачивать их — правда, в разрешении до 720 px и с вотермаркой. Расширенные возможности (убрать вотермарку, повысить качество до 4K и удлинить видео) можно за платные кредиты. При регистрации пользователь получает 100 кредитов.

В середине июля этого года россиянин Денис Ширяев тоже поучаствовал в «оживлении» портретов при помощи нейросетей. Молодой человек начал работать с технологией четыре года назад, когда завел Telegram-канал об IT. Денис брал старые видео, обучал нейросеть преображать картинку и выкладывал ролики на YouTube.

Что может: анимирует портретное изображение. От пользователя требуется минимум: нужно загрузить фото, выбрать один из примерно 20 шаблонов, и сервис автоматически начнёт генерировать гифку. На некоторых шаблонах фоном накладывается музыка и липсинг.

Motionleap

Создатели также использовали наработки в генеративно-состязательных нейросетях (GAN) и машинное мета-обучение. Одна модель «дорисовывает» недостающие детали, вторая пытается определить, что изображение искусственное, а не настоящее. Разработчики отмечают, что для обучения модель использует всего несколько фото или картинок. Источником материала стала база данных с видеоизображениями знаменитостей.

Условия использования: после регистрации можно оживить несколько фото бесплатно и скачать их с водяным знаком. Затем для доступа к Deep Nostalgia и другим сервисам MyHeritage понадобится подписка (есть бесплатный пробный период на 14 дней).

В конце мая 2019 года специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow и инженеры СколТеха научили нейросеть реалистично «оживлять» портреты. Система создает анимированные изображения с помощью 1-8 статичных кадров лица. Так реализуется подход few-shot learning, обучение на малом количестве примеров. Для самого точного «говорящего портрета» требуется более 32 изображений.

Что может: добавить на картинке мимику и движение. Можно выбрать стиль изображения и дополнительно задать текстовый промпт, есть инструменты и эффекты для анимации. В премиум-режиме можно добавить озвучку. Сервис делает качественную анимацию, однако сильно искажает черты на фото — получается совершенно новый персонаж.

Музей Дали сотрудничал с компаниями Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить проект в жизнь. Картинку создавали по интервью, цитатам, архивным материалам и трехмерным моделям, а искусственный интеллект специализировался на жестах. Всего для работы понадобилось более 6000 кадров с изображением художника и 1000 часов машинного обучения. GS & P использовала эти материалы в обучении алгоритма, что позволило «изучить» лицо и тело Дали.

Условия использования: в бесплатном режиме после регистрации на аккаунт начисляют 105 секунд для генерации (анимация длится 4 секунды), также можно объединить короткие ролики в три проекта. Докупать кредиты на бесплатном аккаунте нельзя, но каждый месяц вам будут начислять по 25 кредитов.

Многие помнят говорящие портреты из вселенной Гарри Поттера. Волшебные изображения показывали не только внешность, но личности людей. Запечатленные имели свои характеры, общались между собой и обитателями Хогвартса, сохраняли память прообразов. Теперь расскажем, как искусственные нейросети делают эту магию реальной.

После Ширяев попробовал не преобразовывать, а «оживлять» картины. Он взял семь известных работ различных художников и обучил нейронную сеть превращать портреты в живых людей. Самыми известными «подопытными» стали Мона Лиза кисти Леонардо да Винчи и Венера с работы Сандро Боттичелли.