Как с помощью нейросети Niji Journey нарисовать что угодно в стиле аниме — и себя тоже

О StyleGAN

Как смешивать картинки. Если понравилась композиция или стилистика сгенерированной картинки, можно использовать ее как основу для запроса и менять в ней персонажей. Для этого нужно включить в настройках ремикс-мод . Напишите в чате /settings и нажмите на Remix mode. После этого при нажатии на варианты V1, V2, V3 или V4 появится окно с запросом, который можно исправить или дополнить.

StyleGAN вносит также ряд дополнительных улучшений: например, в ней используется новый датасет лиц “FFHQ” с изображениями размером 1024 пикселя (выше, чем у ProGAN). Кроме того, сеть демонстрирует меньше потерь и очень интенсивно использует полностью связанные слои для обработки случайного ввода (не менее 8 слоёв из 512 нейронов, в то время как у большинства GAN 1 или 2 слоя). Ещё более поразительным является то, что в StyleGAN не используются методы, которые считались критически важными для обучения других GAN: например, релятивистские потери, распределение шума, расширенная регуляризация и т. д.

Вы можете указать в запросе, насколько сгенерированное изображение должно быть стилизовано. Если написать просто название аниме, у нейросети будет больше свободы. А если уточнять детали, то вы получите контроль над результатом: можно указать прическу, фон, позу героя или в целом стилистику фотографии. Мы попробовали превратить в аниме семью Букиных из сериала «Счастливы вместе».

Как сгенерировать аниме-картинку. Niji Journey работает точно так же , как Midjourney. На сервере ищите каналы image-generation. Там вместе с вами картинки будут генерировать другие пользователи. Чтобы нейросеть сгенерировала изображение, нужно ввести команду /imagine в любом из чатов и придумать запрос.

Аниме-аватарки — или стилизация любого реального персонажа под аниме. Генерировать себя, друзей или героев мемов в аниме-нейросетях — увлекательное занятие. Если хотите использовать свой снимок, загрузите его на любой фотохостинг, от открытого альбома во «Вконтакте» до специализированных сервисов вроде Postimages, и скопируйте оттуда ссылку из поля direct link.

Шаг 2. Нажмите большую оранжевую кнопку с текстом Play Now под изображением аниме-девушки. После этого откроется изображение другой девушки. Под ним нажмите кнопку Album — сайт предложит загрузить фотографию. Выберите ее из памяти смартфона или сделайте новый снимок.

Аватарку в стиле аниме можно сгенерировать в Niji Journey — про эту нейросеть у нас тоже есть гайд. Она умеет создавать не только людей, но и пейзажи, города, 3D-фигурки и многое другое. Сервис платный и чуть сложнее в обращении, но зато в нем можно прописывать детальные запросы под себя — с самыми разными стилями и нюансами.

Какие есть ограничения и сколько стоит подписка. В бесплатной версии нейросети 25 попыток. Попытка тратится и на полноценный запрос, и на апскейл картинки. Если вы уже потратили свои генерации в Midjourney, то новые в Niji Journey не будут доступны. Ограничения можно убрать, заплатив за подписку. У Midjourney и Niji Journey общая подписка: если заплатили за первый сервис, то доступ ко второму откроется автоматически.

Добавляйте в запрос режиссеров, чтобы добиться стиля их аниме

Можно начать генерировать с нуля, а можно взять картинку и использовать ее как референс. Для исходной точки подойдет, к примеру, фан-арт . Для этого добавьте ссылку на изображение в поле после слова /imagine и подпишите свой запрос, например Asuka from Evangelion. Модель возьмет детали из исходного изображения и объединит их с персонажем.

А если хотите получить кадр из аниме, а не дизайн персонажа, то добавляйте anime screencap или anime still. Таким образом получится генерировать даже никогда не существовавшие аниме-произведения. Например, можно детально описать сцену из «Звездных войн», но дополнить ее запросом anime screencap и добавить стилистику любимого режиссера.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.

О каких еще лайфхаках Niji Journey стоит знать

Второй способ увеличить количество попыток — заново создавать аккаунты в «Дискорде» после каждого окончания пробной версии. Но есть риск получить бан на платформе. Третий способ — купить подписку на основную Midjourney за 30 $⁣ ( 2093 ₽) в месяц. Если подписка на Midjourney активна, то доступ к Niji Journey предоставляется бесплатно.

Аниме-персонажи. Niji Journey намного лучше генерирует героев аниме, чем Midjourney, поскольку знает стилистику многих популярных тайтлов. По данным AITuts, Niji Journey всегда точно попадает в образ Реи и Аски из «Евангелиона», Рин и Сейбер из «Судьбы: Ночь схватки», Зеро 2 из «Любимый во Франксе», а также Саске из «Наруто». Чем больше фан-артов у героя, тем больше вероятность того, что нейросеть его повторит.

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

Люди. Нейросеть практически не заимствует черты лица человека с фотографии, но повторяет прическу, растительность на лице и аксессуары. При этом у мужчин могут пропадать бороды и усы. Нейросеть по-разному стилизует фон, но обычно он совпадает с оригинальной фотографией по оттенкам и настроению. На групповых снимках алгоритмы могут генерировать другое количество людей.

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.