Ожившие картины: Дали говорит с Моной Лизой

Как превратить фотографию в видео

Создание ролика заняло три месяца. В некоторых случаях Денису пришлось использовать собственную мимику, чтобы добиться эффекта реальности. Благодаря этому герои получились «настоящими»: на видео они проявляют эмоции и меняют взгляд, как настоящие люди. В будущем Ширяев планирует «дать жизнь» другим картинам с известными людьми, пейзажами и событиями.

Представьте, что вы держите в руках старую фотографию. Внезапно изображение оживает — лица начинают улыбаться, деревья колышутся на ветру, волны набегают на берег. Нет, это не сцена из фантастического фильма. Это реальность, созданная нейросетью Luma Dream Machine, которая еще и работает абсолютно бесплатно, а не как другие, которые требуют сначала заплатить за неизвестный результат. Сейчас разберемся, как она работает и так ли хороша на самом деле.

Genmo — это ИИ-платформа для творчества. С ее помощью можно создавать различный контент в видео формате. Например, площадка может написать сценарий и подобрать к нему визуализацию. Также Genmo предлагает инструменты для анимирования изображений. Вот пример работы ИИ-платформы:

Модель художника дорабатывали реальные актеры, которые имели схожую с мастером внешность. Озвучку Дали сделал артист с характерным испанским акцентом. Все это создало «подделку высокого уровня», которая сопровождала гостей музея на выставке «Dali Lives». «Художник» рассказывал истории из своей жизни, цитировал самого себя, открывал дверь и «создавал» картины. Интерактивная система также реагировала на действия посетителей, отвечала на простые вопросы и позировала для селфи.

Музей Дали сотрудничал с компаниями Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить проект в жизнь. Картинку создавали по интервью, цитатам, архивным материалам и трехмерным моделям, а искусственный интеллект специализировался на жестах. Всего для работы понадобилось более 6000 кадров с изображением художника и 1000 часов машинного обучения. GS & P использовала эти материалы в обучении алгоритма, что позволило «изучить» лицо и тело Дали.

RunwayML — платформа для творческих людей, которые хотят применять в работе различные возможности ИИ-инструментов. Разработчики утверждают, что площадка открывает пользователям доступ к «искусству следующего поколения». При помощи RunwayML, в том числе, можно анимировать изображения. Вот пример работы платформы:

Metademolab

Leia — это компания, которая занимается созданием программного обеспечения для работы с графикой. Также организация изготавливает дисплеи для смартфонов. А еще Leia предлагает инструменты для создания анимаций. Вот пример работы, созданной через ПО платформы:

Создатели также использовали наработки в генеративно-состязательных нейросетях (GAN) и машинное мета-обучение. Одна модель «дорисовывает» недостающие детали, вторая пытается определить, что изображение искусственное, а не настоящее. Разработчики отмечают, что для обучения модель использует всего несколько фото или картинок. Источником материала стала база данных с видеоизображениями знаменитостей.

Евгения Лиходей — криптожурналист и новостной корреспондент с десятилетним опытом работы в российских и зарубежных отраслевых СМИ, включая BloomChain и Bits.Media. Считает, что качественный контент крайне важен для популяризации идей децентрализации. Придерживается принципов непредвзятой журналистики и использует ее преимущества для развития криптосообщества.

Бывает, что объекты на видео искажаются. Это может быть связано с качеством исходного фото или сложностью сцены. Решением может стать использование другой фотографии или упрощение описания. Если результат сильно отличается от вашего описания, проверьте, нет ли в тексте двусмысленностей или сложных для интерпретации фраз.

После Ширяев попробовал не преобразовывать, а «оживлять» картины. Он взял семь известных работ различных художников и обучил нейронную сеть превращать портреты в живых людей. Самыми известными «подопытными» стали Мона Лиза кисти Леонардо да Винчи и Венера с работы Сандро Боттичелли.

Однако, как и любая передовая технология, Luma Dream Machine не лишена определенных ограничений. Иногда пользователи могут столкнуться с неестественным движением на видео или нелогичными переходами, что также не редкость. В таких случаях стоит попробовать изменить описание, сделав его более конкретным или, наоборот, более общим. Это поможет нейросети лучше интерпретировать ваши намерения.

Несмотря на эти потенциальные сложности, Luma Dream Machine открывает новую главу в мире цифровой фотографии и видео. Эта технология не только позволяет создавать уникальный контент, но и дает возможность по-новому взглянуть на уже существующие фотографии. Возможность оживить любимые снимки становится отличным способом сохранить и переосмыслить важные моменты жизни.

Согласно правилам Trust Project , данная статья отражает точку зрения автора и может не совпадать с мнением редакции BeInCrypto. Политика BeInCrypto — освещать любые события беспристрастно и соблюдать высочайшие стандарты журналистики. BeInCrypto рекомендует читателям самостоятельно проверять информацию и консультироваться со специалистом, прежде чем принимать любые финансовые решения на основе этого контента. Также обратите внимание, что наши « Условия и положения », « Политика конфиденциальности » и « Дисклеймеры » были обновлены

Сальвадор «Франкенштейн» Дали

В конце мая 2019 года специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow и инженеры СколТеха научили нейросеть реалистично «оживлять» портреты. Система создает анимированные изображения с помощью 1-8 статичных кадров лица. Так реализуется подход few-shot learning, обучение на малом количестве примеров. Для самого точного «говорящего портрета» требуется более 32 изображений.

Возможности Luma Dream Machine поистине впечатляют. Просто представьте, как ваша фотография заката над морем оживает: волны начинают мягко накатывать на берег, а небо переливается всеми оттенками от золотого до пурпурного. Статичный портрет любимого человека вдруг превращается в короткое видео, где он моргает, слегка поворачивает голову или дарит вам улыбку. Даже снимок грозового неба может ожить, демонстрируя величественную игру природы с движущимися облаками и вспышками молний.

Многие помнят говорящие портреты из вселенной Гарри Поттера. Волшебные изображения показывали не только внешность, но личности людей. Запечатленные имели свои характеры, общались между собой и обитателями Хогвартса, сохраняли память прообразов. Теперь расскажем, как искусственные нейросети делают эту магию реальной.

В обработке и анимации статичных изображений голов использовались три нейросети. Embedder (сеть для выделения признаков) разделяет изображения головы по лицевыми ориентирами на векторы, которые содержат независимую от позы информацию. Generator (сеть порождения изображений) использует их и генерирует набор сверточных слоев, которые обеспечивают устойчивость к искажениям исходника. Discriminator применяют для оценки качества и подлинности результата сети-генератора. В конце система превращает ориентиры лица человека в реалистичные фотопортреты.

Luma Dream Machine — это передовая нейросеть, способная «оживить» практически любое статичное изображение. Ее уникальность заключается в том, что она может создать динамичное видео даже из одной фотографии. Искусственный интеллект анализирует изображение, распознает его содержание и генерирует реалистичную последовательность кадров, делая не просто коллаж из фотографий, а самый настоящий видеоролик.

В середине июля этого года россиянин Денис Ширяев тоже поучаствовал в «оживлении» портретов при помощи нейросетей. Молодой человек начал работать с технологией четыре года назад, когда завел Telegram-канал об IT. Денис брал старые видео, обучал нейросеть преображать картинку и выкладывал ролики на YouTube.