Генерация аниме с помощью нейросети StyleGAN

Особенности AnimeGenius:

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

AnimeGenius — нейросеть, которая превращает фото в стиль аниме. Кроме того, она рисует аниме арты по текстовому описанию. Сервис выделается большим набором параметров и удобной библиотекой промптов. Приложение позволяет обрабатывать до 4-5 фото в день бесплатно. Данная нейросеть является незаменимым компаньоном для каждого поклонника аниме.

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.

StyleGAN вносит также ряд дополнительных улучшений: например, в ней используется новый датасет лиц “FFHQ” с изображениями размером 1024 пикселя (выше, чем у ProGAN). Кроме того, сеть демонстрирует меньше потерь и очень интенсивно использует полностью связанные слои для обработки случайного ввода (не менее 8 слоёв из 512 нейронов, в то время как у большинства GAN 1 или 2 слоя). Ещё более поразительным является то, что в StyleGAN не используются методы, которые считались критически важными для обучения других GAN: например, релятивистские потери, распределение шума, расширенная регуляризация и т. д.

Приложения

Нет зарубежной банковской карты? Вы можете выгодно оплатить подписку на иностранный сервис с помощью GetPayAll с минимальной комиссией на рынке. Назовите менеджеру промокод neural для получения скидки 30% на комиссию при первой оплате.
Компания работает как с физическими, так и с юридическими лицами. Помимо оплаты зарубежных сервисов, предлагается выпуск индивидуальной карты с возможностью пополнения.

Anime AI Art Generator — нейросеть для создания аниме. В вашем распоряжении 13 моделей, возможность увеличение разрешения в 4 раза, продвинутый режим с множеством параметров и редактирование изображений. Для некоторых моделей доступна функция улучшения качества лиц. Разработчиков порадует API с подробной документацией.

AI Anime Generator — бесплатная нейросеть для генерации аниме-артов. Сервис создает изображения в высоком разрешении, благодаря встроенным функциям для увеличения качества и масштаба. Доступен выбор из 9 стилей, но можно указать другие с помощью текстовой подсказки. Присутствует API для разработчиков.

Anime AI — бесплатная нейросеть для фото в стиле аниме. Сервис построен на базе Stable Diffusion, дополнительно обученной на множестве изображений данного жанра. Нейросеть подходит для создания аватарок в стиле аниме. К вашим услугам большое количество стилей и возможность добавления дополнительной атрибутики (очки, шляпа и другие).

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.