С любимыми не расставайтесь! – оживляем человека

FaceShifter

Бесплатная компьютерная программа с открытым кодом, представляющая собой двухэтапный фреймворк, в котором замена лица на фото происходит с высокой точностью с учетом окклюзии. Нейросеть способна менять лица без дополнительного вмешательства, на выходе предоставляя качественный креатив.

Приложение дает возможность сохранить всего три фотографии и то с водяным знаком, но для этого существуют сервисы для удаления вотермарок. Также можно воспользоваться просмотром рекламы, чтобы сохранить больше трех изображений. Стоимость месячной подписки — 3,99$ для пользователей iOS и Android.

«Если вы можете записывать данные, вы можете использовать их для обучения искусственного интеллекта (ИИ), и он будет вести себя в соответствии с параметрами, которые вы задали. Но он не может реагировать на случайные события. Люди понимают семантику более широко и способны давать совершенно непредсказуемые ответы и реагировать на ситуации по-разному.

Звучит футуристично, но пока обеспечить полноценное воссоздание образа умершего человека и его существование в виртуальном пространстве — невероятно сложная задача, которая потребует комплексной работы нескольких нейросетей. Однако все технологии, необходимые для ее реализации, уже существуют. Остается объединить их.

После обучения мы можем давать Stable Diffusion запросы на генерацию фотографий этого конкретного человека в различном возрасте, эмоциональном состоянии, с разной прической и в конкретных местах. Также можно задавать параметры снимка: например, попросить сгенерировать картинку человека в полный рост.

Онлайн-сервис заставит ваши фотографии говорить — есть функция липсинга и 30 вариантов голосов. В целом Pika предназначена для работы с видео: можно редактировать ролики, убирать и добавлять персонажей и детали, дорисовывать фон, менять готовое видео по введённому промпту.

Популярное приложение для обработки фотографий с множеством функций от выравнивания тона кожи до смены цвета волос, и замена лица на фото — одна из них. Достаточно загрузить в приложение исходное изображение и выбрать нужную функцию — вам будет предложено найти знаменитость в базе FaceApp либо загрузить фотографию из галереи.

Если нужно быстро оживить фото — добавить активную мимику и эмоции, анимировать фон, на помощь придут нейросети. Вот подборка бесплатных или условно бесплатных сервисов, где вы можете попробовать создать движущиеся или даже «говорящие» фото — для практических целей или просто для веселья. Сервисы не работают без регистрации — как минимум понадобится авторизация через Google-аккаунт.

FaceApp

Когда мы создали виртуальный портрет человека, воссоздали его манеру речи и голос, наступает самое сложное — объединить это всё так, чтобы оно заработало. Насколько это сложная задача, мы судить не беремся — оставим рассуждения программистам. Но кое-кому уже удалось провернуть подобное.

Сегодня на рынке есть сотни нейросетей — одни создают изображения по текстовому запросу, другие способны заставить говорить людей с фотографий, третьи могут самостоятельно придумывать текст и вступать в диалоги с людьми, а четвертые — озвучивать введенный текст. Но что если объединить все эти алгоритмы? Сможем ли мы «воскресить» умершего человека, как в эпизоде «Я скоро вернусь» из второго сезона «Черного зеркала»? В общем ответ скорее «да», чем «нет».

В итоге, по словам парня, нейросеть стала не просто забавой — он стал так часто изучать китайский язык с ChatGPT-chan (так разработчик назвал виртуального персонажа), что у него начались проблемы в реальных отношениях и нейросеть пришлось удалить. Не беремся судить, правда это или просто хайп, но прецедент создан.

В будущем мы, вероятно, сможем разработать ИИ, который будет реагировать по-человечески на новые ситуации, но мы не знаем, сколько времени это займет. В сообществе экспертов по ИИ сейчас идут дебаты на эту тему: одни считают, что на это уйдет 50 с лишним лет, а другие думают, что намного меньше», — утверждает Амит Рой-Чоудхури, профессор электротехники и вычислительной техники в Калифорнийском университете в Риверсайде.

Вы можете менять размер, наклон и расстояние между глазами, поработать над формой и толщиной бровей, носом, губами и челюстью. В “Студии лица” вы можете менять возраст, пол, добавить ретуши, выбрать прическу и цвет волос. Популярно у пользователей, которым нужна замена лица на фото — использование функции “Мультфильм”.

Что может: анимировать картинку самостоятельно или с учётом промпта, добавлять активную мимику на портретах, движение объектов и фона, менять направление камеры, добавлять фоновые звуки. Можно задать параметры для генерации, интенсивность движения, зум, а также указать «антипромпты» — параметры, которые нужно исключить.

Собираем воедино

Однако это лишь вопрос времени, когда появится возможность самостоятельно дообучать нейросети на основе загруженных пользователями данных. Нет никаких сомнений в том, что ChatGPT, обученная на предоставленной ей информации о конкретной персоне, сможет давать ответы «в стиле» этого человека.

Речь про разработчика по имени Брайс (свои личные данные он предпочел не раскрывать), который создал аниме-девушку, способную видеть, отвечать и реагировать на действия своего создателя. При разработке системы он использовал ChatGPT, Stable Diffusion 2 и Microsoft Azure TTS. Последний сервис помогал генерировать голос и распознавать изображения с камеры.

Что может: добавить на картинке мимику и движение. Можно выбрать стиль изображения и дополнительно задать текстовый промпт, есть инструменты и эффекты для анимации. В премиум-режиме можно добавить озвучку. Сервис делает качественную анимацию, однако сильно искажает черты на фото — получается совершенно новый персонаж.

С другой стороны, есть нейросети ChatGPT OpenAI и LaMDA от Google (скоро появится в открытом доступе), с которыми можно беседовать практически как с реальным человеком. Проблема лишь в том, что обычные пользователи пока не могут обучать нейросеть на собственных наборах данных и довольствуются тем, что алгоритм уже знает.

Звучат сгенерированные нейросетью голоса очень похоже на реальных людей. Так что, если у вас есть достаточное количество записей голоса нужного человека, вы без труда сможете воссоздать его речь при помощи нейросети. «Прикрутив» чат-бота по API к такому сервису, можно озвучивать реплики «цифрового двойника».

Условия использования: после регистрации можно оживить несколько фото бесплатно и скачать их с водяным знаком. Затем для доступа к Deep Nostalgia и другим сервисам MyHeritage понадобится подписка (есть бесплатный пробный период на 14 дней).