Нейросеть рисует аниме: как обработать фото с помощью Different Dimension Me

Примеры

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

StyleGAN вносит также ряд дополнительных улучшений: например, в ней используется новый датасет лиц “FFHQ” с изображениями размером 1024 пикселя (выше, чем у ProGAN). Кроме того, сеть демонстрирует меньше потерь и очень интенсивно использует полностью связанные слои для обработки случайного ввода (не менее 8 слоёв из 512 нейронов, в то время как у большинства GAN 1 или 2 слоя). Ещё более поразительным является то, что в StyleGAN не используются методы, которые считались критически важными для обучения других GAN: например, релятивистские потери, распределение шума, расширенная регуляризация и т. д.

Вы можете указать в запросе, насколько сгенерированное изображение должно быть стилизовано. Если написать просто название аниме, у нейросети будет больше свободы. А если уточнять детали, то вы получите контроль над результатом: можно указать прическу, фон, позу героя или в целом стилистику фотографии. Мы попробовали превратить в аниме семью Букиных из сериала «Счастливы вместе».

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.

Что можно сгенерировать в Niji Journey

Аниме-аватарки — или стилизация любого реального персонажа под аниме. Генерировать себя, друзей или героев мемов в аниме-нейросетях — увлекательное занятие. Если хотите использовать свой снимок, загрузите его на любой фотохостинг, от открытого альбома во «Вконтакте» до специализированных сервисов вроде Postimages, и скопируйте оттуда ссылку из поля direct link.

Шаг 2. Нажмите большую оранжевую кнопку с текстом Play Now под изображением аниме-девушки. После этого откроется изображение другой девушки. Под ним нажмите кнопку Album — сайт предложит загрузить фотографию. Выберите ее из памяти смартфона или сделайте новый снимок.

Описание желаемой картинки сформулируйте на английском языке. Если не знаете английский, можете попробовать плагин-переводчик для «Дискорда». Когда придумаете запрос, нажмите кнопку «Отправить». Бот начнет генерировать изображение. Вы в прямом эфире увидите, как смутные очертания превращаются в четыре картинки.

А если хотите получить кадр из аниме, а не дизайн персонажа, то добавляйте anime screencap или anime still. Таким образом получится генерировать даже никогда не существовавшие аниме-произведения. Например, можно детально описать сцену из «Звездных войн», но дополнить ее запросом anime screencap и добавить стилистику любимого режиссера.

Как выбрать разрешение картинки. По умолчанию нейросеть генерирует картинки в разрешении 1:1. Его можно изменить, если добавить в конце запроса параметр —ar. Горизонтальное разрешение —ar 3:2 создает кинематографичные картинки, а вертикальное —ar 2:3 — постеры и портреты. Другие разрешения в Niji Journey не работают. Запрос выглядит так: 90s anime, girl at the deck, —ar 2:3 .

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

Аниме-персонажи. Niji Journey намного лучше генерирует героев аниме, чем Midjourney, поскольку знает стилистику многих популярных тайтлов. По данным AITuts, Niji Journey всегда точно попадает в образ Реи и Аски из «Евангелиона», Рин и Сейбер из «Судьбы: Ночь схватки», Зеро 2 из «Любимый во Франксе», а также Саске из «Наруто». Чем больше фан-артов у героя, тем больше вероятность того, что нейросеть его повторит.

Можно начать генерировать с нуля, а можно взять картинку и использовать ее как референс. Для исходной точки подойдет, к примеру, фан-арт . Для этого добавьте ссылку на изображение в поле после слова /imagine и подпишите свой запрос, например Asuka from Evangelion. Модель возьмет детали из исходного изображения и объединит их с персонажем.

Добавляйте в запрос режиссеров, чтобы добиться стиля их аниме

Фигурки. Niji Journey умеет генерировать гиперреалистичные фотографии игрушек. Основной запрос для такого результата — figurine of… и имя или описание вашего персонажа. Изменять запрос можно, добавляя in glass display case, made of plastic, made of polyester putty, studio lighting, with box, funkopop.

Люди. Нейросеть практически не заимствует черты лица человека с фотографии, но повторяет прическу, растительность на лице и аксессуары. При этом у мужчин могут пропадать бороды и усы. Нейросеть по-разному стилизует фон, но обычно он совпадает с оригинальной фотографией по оттенкам и настроению. На групповых снимках алгоритмы могут генерировать другое количество людей.

FaceTune. В приложении для ретуши лица есть ИИ-генератор стилизованных изображений. Нужно загрузить пять своих фотографий и ждать, пока они обработаются. После этого можно прописать свой запрос — например, название определенного аниме. Генерировать картинки получится бесплатно и безлимитно. Приложение доступно для iOS и Android.

Как получить доступ к Njji Journey. В основе сервиса лежит Midjourney — нейросеть, генерирующая картинки по текстовому описанию. Мы подробно рассказывали о сервисе в отдельном материале. Это самая доступная нейросеть из конкурентов. К Dall-E нет публичного доступа, а для запуска полноценной Stable Diffusion нужен хороший компьютер. Вся работа с Midjourney происходит в мессенджере «Дискорда» с любого устройства.

Чтобы сделать такую картинку для разных выражений лица, добавляйте к запросу expression sheet, для полной модели персонажа — character design sheet, character turnaround sheet, character pose sheet, concept art sheet, для разной одежды — dress-up sheet, fashion sheet, items sheet, accessories, для разных поз — character pose sheet, concept art sheet. Выбирайте два-три запроса, которые вам больше всего нравятся.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.

Какие есть ограничения и сколько стоит подписка. В бесплатной версии нейросети 25 попыток. Попытка тратится и на полноценный запрос, и на апскейл картинки. Если вы уже потратили свои генерации в Midjourney, то новые в Niji Journey не будут доступны. Ограничения можно убрать, заплатив за подписку. У Midjourney и Niji Journey общая подписка: если заплатили за первый сервис, то доступ ко второму откроется автоматически.

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.