Генерация аниме с помощью нейросети StyleGAN

Me in Comics больше не работает в России

Самое очевидное — использовать плоды Niji Journey для публикаций в соцсетях. Отличный контент, который повысит вовлеченность пользователей. С авторским правом при таком использовании все в порядке — изображения Midjourney разрешается использовать для публикации, но не для коммерции. Имейте это в виду.

Шаг 2. Нажмите большую оранжевую кнопку с текстом Play Now под изображением аниме-девушки. После этого откроется изображение другой девушки. Под ним нажмите кнопку Album — сайт предложит загрузить фотографию. Выберите ее из памяти смартфона или сделайте новый снимок.

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.

Далее листаем список каналов в сообществе и находим те, что имеют в названии image-generation. Всего их семь, вы можете выбрать любой. Затем заходим в канал и вводим слэш «/». У вас сразу появится выпадающий список, который предложит вам команду /imagine promt. Выбирайте ее, а в открывшемся поле после слова promt можете ввести нужный текстовый запрос.

Аватарку в стиле аниме можно сгенерировать в Niji Journey — про эту нейросеть у нас тоже есть гайд. Она умеет создавать не только людей, но и пейзажи, города, 3D-фигурки и многое другое. Сервис платный и чуть сложнее в обращении, но зато в нем можно прописывать детальные запросы под себя — с самыми разными стилями и нюансами.

Люди. Нейросеть практически не заимствует черты лица человека с фотографии, но повторяет прическу, растительность на лице и аксессуары. При этом у мужчин могут пропадать бороды и усы. Нейросеть по-разному стилизует фон, но обычно он совпадает с оригинальной фотографией по оттенкам и настроению. На групповых снимках алгоритмы могут генерировать другое количество людей.

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.

Что такое Niji Journey и как в нее попасть

Мы рассказывали про несколько нейросетей, способных генерировать аниме-арты. Одна из них — от китайского техногиганта Tencent — стала мегапопулярной благодаря быстроте работы и красивым артам, которые генерировала на основе загруженных фото. Или вот еще была у нас публикация про приложение Meitu, которое также превращает любой снимок в кадр из аниме. Но в этот раз речь пойдет про алгоритм Niji Journey, создающий аниме-арт на основе текстового запроса. Разбираемся, насколько он хорош и как им пользоваться.

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

В издании AITuts отмечают, что нейросеть очень хорошо генерирует картинки популярных персонажей аниме. В общем случае закономерность такая: чем больше фан-артов есть по данному персонажу, тем точнее и лучше будет конечный результат работы Niji Journey, если в запросе вы укажете конкретного героя.

Как можно понять по названию, в основе «анимешной» нейросети лежит известная многим Midjourney. Оригинальная нейросетка довольно точно генерирует изображения по запросам, практически без артефактов, однако большинство результатов получаются довольно мрачными.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.

К сожалению, для использования нейросети вам придется постоянно заводить новые аккаунты на различные почты — лимит в 25 генераций на один аккаунт никто не отменял. В этой статье мы рассказывали про варианты использования Midjourney — если кратко, то оплатить ее с российского счета не получится, а бесплатное использование через Discord-сервер сильно ограничено.

Приложения

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

Тем не менее, разработчики из Niji Journey вместе с создателями нейросетевого генератора аниме-персонажей Waifulabs смогли обучить оригинальный алгоритм Midjourney на аниме и манге так, что он стал выдавать по текстовому запросу изображения в совершенно разных стилях.

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

Для начала надо зайти на Discord-сервер алгоритма и авторизоваться. Учтите, что если вы пользовались до этого Midjourney, количество попыток генерации будет общим для обеих программ. Например, если раньше вы израсходовали 15 из 25 бесплатных попыток в Midjourney, то в Niji Journey после добавления в канал у вас останется 10 попыток. Израсходуете их все на создание аниме — и больше не сможете бесплатно сделать изображения в Midjourney на том же аккаунте (и да, лимит не восстановится даже через месяц).

StyleGAN вносит также ряд дополнительных улучшений: например, в ней используется новый датасет лиц “FFHQ” с изображениями размером 1024 пикселя (выше, чем у ProGAN). Кроме того, сеть демонстрирует меньше потерь и очень интенсивно использует полностью связанные слои для обработки случайного ввода (не менее 8 слоёв из 512 нейронов, в то время как у большинства GAN 1 или 2 слоя). Ещё более поразительным является то, что в StyleGAN не используются методы, которые считались критически важными для обучения других GAN: например, релятивистские потери, распределение шума, расширенная регуляризация и т. д.

FaceTune. В приложении для ретуши лица есть ИИ-генератор стилизованных изображений. Нужно загрузить пять своих фотографий и ждать, пока они обработаются. После этого можно прописать свой запрос — например, название определенного аниме. Генерировать картинки получится бесплатно и безлимитно. Приложение доступно для iOS и Android.