Топ-7 нейросетей, которые рисуют аниме в 2024 году

Njji Journey

Сам сайт Animegan.js не имеет ничего лишнего – поле для загрузки фотографий и кнопки для запуска генерации аниме артов. Такой минимализм можно объяснить тем, что нейронка была создана группой студентов из Китая без какого-либо финансирования, но свою работу она выполняет отлично.

В попытках заставить компьютер рисовать аниме есть что-то забавное — это уж точно интереснее, чем работать со снимками знаменитостей или с датасетом ImageNet! Кроме того, рисунки и аниме отличаются от фотографий, которые сейчас очень часто используются в задачах машинного обучения. Если нейросети научатся генерировать случайные нарисованные изображения, то совсем скоро станет возможна генерация картин и фотографий по их текстовому описанию.

В общем, результат всегда оказывается разный, сколько раз ни загружай одну и ту же фотку. Мы предполагали, что это не нейросеть, а просто накладывание на фото фильтра, стилизующего картинку под аниме. Но тот факт, что сервис выдает каждый раз разные фотки, меняя черты лица, задний фон или другие детали, означает, что работает он при помощи нейросети. И мы даже знаем, какой.

С этой нейронкой есть определенные сложности, да и все еще удивительно, как за 4 года остались уязвимые баги по типу отсутствующих глаз, двух носов и тд. Тем более готовую картинку мы сможем получить только через полчаса генерации, а исправить косяки невозможно, ведь один раз можно подать запрос только на одну картинку.

Нейросети для генерации, объединения или редактирования изображений мгновенно становятся популярными. Это доказывает пример Lensa, которая встроила в приложение генератор аватаров на основе ваших загруженных фотографий. Но новое китайское приложение имеет еще больший потенциал, ведь оно обещает превратить каждую фотку в кадр из аниме.

Разработка Stable Diffusion финансировалась и формировалась стартап-компанией Stability AI, а техническая лицензия на модель была выпущена CompVis group Мюнхенского университета Людвига Максимилиана! Алгоритм основан на передовых идеях, таких как DALL-E 2 от Open AI, Imagen от Google, и других моделях генерации изображений с учетом множества оптимизаций.

Нейросеть, которая создает аниме персонажей

StyleGAN — та самая нейросеть, которая генерирует лица несуществующих людей на сайте thispersondoesnotexist.com. Исследователь Gwern Branwen вывел её на новый уровень и научил создавать несуществующие лица персонажей аниме, запустив свой сайт thiswaifudoesnotexist.net. На нём каждые 15 секунд появляется новый персонаж и его история, также генерируемая искусственным интеллектом. Сегодня мы расскажем, как самому обучить нейросеть для создания аниме-лиц с помощью StyleGAN.

Different Dimension Me, Animegan.js, Selfie2anime – лучше всего справляются с этой задачей. Арты из Different Dimension Me заполонили интернет еще в прошлом году, это приложение лучше всего справится с задачей предоставить качественное изображение. Selfie2anime и Animegan.js – могут выдать более интересный арт-концепт, но до идеала далеко. Если хотите иметь возможность генерировать аниме арты быстро и в одном приложении, то присмотритесь к приложениям на модели Stable Diffusion такие как, Make AI Art или Draw Things.

Мы советуем остановиться на двух самых лучших: Stable Diffusion и Niji Journey. Они различаются по степени детализации и качества, но многие сайты на модели Stable Diffusion бесплатные. Если судить по выдаваемым результатам, то Niji Journey, которая была обучена на больших датасетах аниме изображений и фреймах из манги – попадает прямо в нерв аниме стилистики.

Над этой нейросеткой трудились специалисты из Nvidia на базе технологий преобразования данных в осмысленный образ и заимствования стиля оформления. Нейросеть работает с каждым слоем картинки отдельно, детализируя ее в порядке приоритетности — от основного изображения до фона. Причем нейронка создает все новые и новые аниме арты, избегая повторения или плагиата.

Первый успех продемонстрировали сети BigGAN и ProGAN: они показали, что обычные CNN могут научиться генерировать и масштабировать чёткие аниме-изображения. Сеть ProGAN была достаточно мощной, но требовала около 6 недель обучения на GPU. Поэтому ей на смену пришла StyleGAN — более быстрая архитектура, с которой можно обучать объёмные модели на больших наборах данных.

Dream Studio – официальный сайт генерации изображений на модели Stable Diffusion, который позволяет создавать текстовой запрос, но и использовать картинки. Не требует регистрации и не имеет ограничений по количеству попыток генерации изображений. Также есть отдельная вкладка “Negative promt”, которая позволяет избежать нежелаемых деталей.

Gwern пробовал решить задачу с помощью ряда существующих генеративных сетей: StackGAN / StackGAN ++ & Pixel * NN *, WGAN-GP, Glow, GAN-QP, MSG-GAN, SAGAN, VGAN, PokeGAN, BigGAN 3, ProGAN и StyleGAN. Многие из них начинали либо расходиться после одного или двух дней обучения, либо создавать ограниченный диапазон лиц (или одно лицо), либо просто сходиться к изображениям плохого качества.

Генерация изображения происходит при помощи текстового сообщения с командой /imagine в любом канале Discord «Image generation». Пользователи могут корректировать свои результаты с помощью кнопок U1, U2, U3 и U4 для увеличения масштаба своих творений и кнопок V1, V2, V3 и V4 для создания вариаций.

О StyleGAN

StyleGAN представлена в 2018 году. Она использует стандартную архитектуру GAN, применяемую в ProGAN, но черпает вдохновение из механизма передачи стиля. StyleGAN модифицирует свою генераторную сеть (генератор), которая создаёт изображение путём его многократного увеличения: 8px → 16px → 32px → 64px → 128px и т. д. При этом на каждом уровне используется комбинация случайных входных данных или «стилевого шума» (“style noise”) с AdaIN. Это указывает генератору, как стилизовать изображения с определённым разрешением: изменить волосы, текстуру кожи и так далее. Систематически создавая такую случайность на каждом этапе процесса формирования изображения, StyleGAN может эффективно выбирать более удачные варианты.

В качестве результата вам показывается видео с преображением вашей фотографии. Чтобы получить фото «до/после», надо развернуть страницу сайта на полный экран и нажать внизу левую кнопку, верхний край которой еле виден. Впрочем, сайт сделан скорее под мобильные устройства, поэтому, возможно, с телефонов пользоваться им будет удобнее (но это не точно).

Вполне говорящее название для веб-сайта, который случайным образом генерирует аниме арты из воздуха. Сайт появился еще в 2021 году и с каждым днем становится все лучше. Раньше результаты генерации высмеивали на Reddit за абсурдность и нереалистичность некоторых деталей. Самое интересное, что на плагиат невозможно наткнуться – ИИ использует алгоритмы, которые постоянно смешиваются друг с другом. Похожие генераторы можно найти здесь. Изображения, отображаемые на веб-сайте, сгенерированы GAN, в частности, с использованием архитектуры StyleGAN2, которая является самой современной GAN, разработанной NVIDIA. GAN, используемый для ThisAnimeDoesNotExist.ai сделан на базе огромного количества аниме артов и изображений из интернета. Изображения генерируются в режиме реального времени по мере загрузки страницы, также можно двигать курсором в поисках того, что вы хотите. Результаты зависят от того, что вы хотите. Можно выкрутить ползунок «Creativity Slider» на максимум и удивляться авангардным аниме артам, либо наоборот – свести на минимум и вспомнить первые аниме арты из 2007 года. Самое забавное – video mode, который позволит прочувствовать всю суть GAN. В этом режиме аниме арты меняются, происходят метаморфозы и все это похоже больше на какой-то сюрреалистический трип.

Стоит отметить, что лица получаются очень разнообразными: меняется не только цвет волос или глаз, ориентация головы и другие мелкие детали, но и общий стиль. Изображения могут быть похожи на кадр из мультфильма, компьютерную графику, аниме 90-х и 00-х годов и даже на рисунки акварелью или маслом.

Все дело в том, что сервис находится на поддомене основного сайта qq.com — китайского мессенджера, созданного компанией Tencent. У этой же компании есть проект ARC — лаборатория, занимающаяся, в том числе, нейросетями. Несколько алгоритмов связаны с обработкой изображений — вы можете сами протестировать их по этой ссылке. Один из алгоритмов позволяет улучшать качество изображения в аниме, мы предполагаем, что описанный выше сервис строится на этих нейросетях.

Стандартная история нейронка + GAN, которая появилась еще в 2019 году. Selfie2Anime – это бесплатный веб-сервис, который позволяет пользователям загружать свою фотографию и создавать персонажа в стиле аниме на основе этой картинки. Сами разработчики заявляли, что нейросеть использовалась при создании Lineage 2.

Прямо сейчас каких только нет нейросетей. Даже нишевые области интернет культуры, такие как аниме, уже могут быть созданы при помощи AI. Эти ИИ стали доступными как для обычных пользователей, так и для профессионалов в сфере иллюстрации, дизайна. Используя любые из вышеперечисленных ai инструментов, вы не только создадите уникальные аватары или аниме арты, но и почерпнете вдохновение в поисках новых визуальных стилей. При выборе подходящей нейросети обратите внимание на ограничения доступа, удобство использования и качество визуализации изображений.

StyleGAN стала настоящим прорывом, поскольку предоставляла возможности уровня ProGAN, но работала быстрее. Эта сеть с радикально иной архитектурой минимизирует потребность в медленном прогрессивном росте (возможно, полностью его исключая) и эффективно обучается на изображениях с разным разрешением. Кроме того, она позволяет контролировать генерируемые кадры с помощью механизма передачи стиля.