Ожившие картины: Дали говорит с Моной Лизой

Immersity AI (ранее LeiaPix)

Создание ролика заняло три месяца. В некоторых случаях Денису пришлось использовать собственную мимику, чтобы добиться эффекта реальности. Благодаря этому герои получились «настоящими»: на видео они проявляют эмоции и меняют взгляд, как настоящие люди. В будущем Ширяев планирует «дать жизнь» другим картинам с известными людьми, пейзажами и событиями.

В середине июля этого года россиянин Денис Ширяев тоже поучаствовал в «оживлении» портретов при помощи нейросетей. Молодой человек начал работать с технологией четыре года назад, когда завел Telegram-канал об IT. Денис брал старые видео, обучал нейросеть преображать картинку и выкладывал ролики на YouTube.

Что может: добавить на картинке мимику и движение. Можно выбрать стиль изображения и дополнительно задать текстовый промпт, есть инструменты и эффекты для анимации. В премиум-режиме можно добавить озвучку. Сервис делает качественную анимацию, однако сильно искажает черты на фото — получается совершенно новый персонаж.

Онлайн-сервис заставит ваши фотографии говорить — есть функция липсинга и 30 вариантов голосов. В целом Pika предназначена для работы с видео: можно редактировать ролики, убирать и добавлять персонажей и детали, дорисовывать фон, менять готовое видео по введённому промпту.

Музей Дали сотрудничал с компаниями Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить проект в жизнь. Картинку создавали по интервью, цитатам, архивным материалам и трехмерным моделям, а искусственный интеллект специализировался на жестах. Всего для работы понадобилось более 6000 кадров с изображением художника и 1000 часов машинного обучения. GS & P использовала эти материалы в обучении алгоритма, что позволило «изучить» лицо и тело Дали.

Условия использования: после регистрации можно оживить несколько фото бесплатно и скачать их с водяным знаком. Затем для доступа к Deep Nostalgia и другим сервисам MyHeritage понадобится подписка (есть бесплатный пробный период на 14 дней).

Что может: превращать статичные 2D-изображения в анимированные 3D и видео. Фактически этот сервис не вносит серьёзных изменений в картинку и объекты на ней. Анимация создаётся за счёт движения с разной скоростью фона и отдельных участков изображения — получается эффект параллакса. Можно задать параметры вручную или довериться нейросети.

Если нужно быстро оживить фото — добавить активную мимику и эмоции, анимировать фон, на помощь придут нейросети. Вот подборка бесплатных или условно бесплатных сервисов, где вы можете попробовать создать движущиеся или даже «говорящие» фото — для практических целей или просто для веселья. Сервисы не работают без регистрации — как минимум понадобится авторизация через Google-аккаунт.

Источники

В обработке и анимации статичных изображений голов использовались три нейросети. Embedder (сеть для выделения признаков) разделяет изображения головы по лицевыми ориентирами на векторы, которые содержат независимую от позы информацию. Generator (сеть порождения изображений) использует их и генерирует набор сверточных слоев, которые обеспечивают устойчивость к искажениям исходника. Discriminator применяют для оценки качества и подлинности результата сети-генератора. В конце система превращает ориентиры лица человека в реалистичные фотопортреты.

Условия использования: в бесплатном режиме можно генерировать картинки с 3D-моушном и видеосемплы до 20 секунд и скачивать их — правда, в разрешении до 720 px и с вотермаркой. Расширенные возможности (убрать вотермарку, повысить качество до 4K и удлинить видео) можно за платные кредиты. При регистрации пользователь получает 100 кредитов.

Чуть раньше музей Дали во Флориде «оживил» художника Сальвадора Дали. Событие приурочили к 115-му дню рождения испанца, 11 мая 2019 года. Организаторы применили технологию DeepFake, которая визуализирует сложные образы и применяет интерактивные системы. Художник не выходил за пределы экрана, но активно жестикулировал и общался с посетителями.

Условия использования: в бесплатном режиме после регистрации на аккаунт начисляют 105 секунд для генерации (анимация длится 4 секунды), также можно объединить короткие ролики в три проекта. Докупать кредиты на бесплатном аккаунте нельзя, но каждый месяц вам будут начислять по 25 кредитов.

В конце мая 2019 года специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow и инженеры СколТеха научили нейросеть реалистично «оживлять» портреты. Система создает анимированные изображения с помощью 1-8 статичных кадров лица. Так реализуется подход few-shot learning, обучение на малом количестве примеров. Для самого точного «говорящего портрета» требуется более 32 изображений.

Что может: анимирует портретное изображение. От пользователя требуется минимум: нужно загрузить фото, выбрать один из примерно 20 шаблонов, и сервис автоматически начнёт генерировать гифку. На некоторых шаблонах фоном накладывается музыка и липсинг.