Нейросети и творчество

Польза №4: создаем хенд-пеинт текстуры

Чтобы нарисовать арт с нуля для проекта требуется затратить несколько недель, а то и месяцев, в зависимости от концепции и прорисовки. С помощью нейронных сетей можно существенно ускорить процесс, сделать набросок, а раскрашивание поручить машине. Следующий рисунок, это воин, собака и ворон на фоне гор.

Важно: установщик работает только с видеокартами Nvidia 10XX (во всяком случае, на момент написания этой статьи). Вам нужно хотя бы 4 гб видеопамяти и 16 гб оперативной памяти. Все вместе на вашем компьютере займет не менее 11 гб дискового пространства.

Stable Diffusion – это модуль, умеющий генерировать изображение по текстовому описанию. В поле нужно вписать текст(prompt) и нажать Generate, после чего появиться готовая картинка. Однако зачастую результат оставляет желать лучшего, бывает так, что после творчества ИИ требуется доработка в фотошопе. Проблема заключается в плохом качестве изображения – деформации лица, генерируются лишние пальцы и артефакт ы (локальн ы е ошибки в картинке). Примеры неудачного арта.

Допустим, нужно передать какую-то необычную атмосферу и мы знаем, на какие символы опираться — указываем, что должны присутствовать цветы и космонавты. Нейросеть генерирует варианты, художник дорабатывает запрос и в процессе всё больше начинает понимать, какой образ космической оранжереи ему ближе.

Ползунки тоже работают не совсем привычным образом — это больше похоже на смешение трех основных цветов для получения новых, чем выбор из готовой палитры цветов. Например, если вы хотите у персонажа на вашем портрете сменить расу на азиатскую, недостаточно просто увеличить соответствующий параметр — нужно соответственно уменьшать или увеличивать ползунки и других рас, чтобы прийти к удовлетворяющему результату.

Также он поступил и с лейкой в руках мужчины, и с некоторыми растениями. Все эти элементы были добавлены в общую композицию — это и есть фотобаш, основу для которого мы получили при помощи нейросетей. Доработав арт в Photoshop, студент получил такой результат:

Инструкция

При помощи нейросетей художник может создавать изображения, из которых можно вырезать детали для фотобаша своего арта. Попросите у них генерировать определенный объект, ряд объектов с конкретного ракурса или тонкие детали: волосы, одежду и так далее. Всё это потом можно переносить на свой арт и дорабатывать вручную — при помощи дорисовки и рендера.

Если вы хотите получить именно арт, очень важно уточнить это в запросе, иначе нейросеть вам выдаст фотографию. Вы можете указать как жанр (например, ар-нуво), так и стиль конкретного художника (допустим, «рисунок в стиле Ван Гога» или «детальный цифровой арт в стиле Руан Джиа»). Последним советуем пользоваться, если вы хотите получить результат, похожий на современные цифровые работы.

Процесс разработки игр стал еще проще, в августе 2022 японский разработчик Nao_u сделал простенький scrolling shooter, где всю графику сгенерировал с помощью Midjourney ai. До полноценной игры не дотягивает, но гемплей позволяет совершать полеты и стрелять по противникам.

Одна из самых популярных нейросетей, но уже куда более требовательная. Придется повозиться с установкой + вам нужен относительно мощный компьютер, чтобы потянуть сетку: для нормальной работы у вас должна быть видеокарта с хотя бы 4-6 гб видеопамяти и 16 гб оперативной памяти.

Все дело в низком разрешении пространства для рисования, сейчас оно 64 на 64 пикселя. Затем картинка увеличивается и выводится на экран пользователю. Поэтому и получаем разные дефекты, проблемы с руками и лицом. Технологии совершенствуются, и ошибки стали появляться реже, в будущем ИИ будет лучше справляться с работой.

При создании хенд-пеинт текстур для материалов художники также могут обратится к нейросети. Правда, этот процесс включает много нюансов. Первоначально нужно обратиться к нейросети с хорошим промтом, который включает различные чекпоинты. В процессе пригодятся индивидуальные надстройки — LoRa. Все это позволит сделать текстуру такой, какой она необходима.

Впоследствии было решено прогнать новый арт через версию Stable Diffusion 1,5. Студентка пробовала использовать разные модели, а также меняла параметры и промпты для генерации, чтобы посмотреть, как нейросеть справится. В итоге у неё получилось добиться такого результата:

5. Теперь в стартовой папке со Stable Diffusion найдите в файлах webui-user.bat и запустите его. Откроется консоль — и теперь вам нужно подождать около 5-15 минут (иногда дольше). В консоли важны строки Model Loaded и Running on Local URL. У последней фразы после двоеточия будет указан локальный URL-адрес вида «http://000.0.0.0:0000» (у вас будут другие цифры) — на него вам нужно перейти, не выключая консоль. В итоге у вас откроется страничка со всеми нужными окошками и настройками для генерации картинок.

Как нейросети помогают в дизайне?

Генерирует картинку за пару минут.
Есть выбор разных стилей: можно выбрать из 51 стиля, уже представленного на сайте (включая отсутствие стиля), а в дополнение загрузить собственное изображение, которое станет референсом для нейросети.
Получаются интересные цветовые сочетания, которые хорошо использовать как подмалевки.

Не получится с людьми.
Изображения чаще всего напоминают полуабстрактное искусство, чем конкретный запрос. Это все еще может быть интересно, но если вы хотите нечто совсем конкретное, особенно связанное с людьми, поверх надо будет дорисовывать самостоятельно.
Разрешение у картинок не очень высокое.
Нельзя настроить ничего, кроме стиля.
Не создает варианты, а предлагает только одну картинку.

1. В поле с текстовым описанием вбейте свой запрос, а в квадрате нарисуйте под этот запрос коллаж. Вы можете нарисовать его простыми формами, а можете найти во встроенном поиске нужные вам объекты — для этого на панели слева надо нажать на четвертый значок в столбике с картинкой, под ножницами.

Роль и польза нейросети в этом контексте в том, что она может быстро создать основную часть работы, причем при определенных настройках способна даже сделать это в авторском стиле. Однако доработка строго необходима — получить идеальную работу от нейросети не выйдет.

Новую технологию стали с интересом изучать, разумеется, появились противники, некоторые увидели в ИИ конкурентов. Так в декабре 2022 года в сообществе ArtStation, устроили бунт, где стали размещать изображения с подписью “No AI Generate Image”. Требовали запретить на площадке публиковать картинки сгенерированные нейросетями.

Нейросети разделили художников на два лагеря: одни бьют тревогу и считают, что роботы отнимут у них работу, другие воспринимают нейросети как помогающий в рисовании инструмент. Как бы то ни было, предлагаем упростить себе жизнь и пользоваться нейросетями в своих целях: например, вдохновляться полученными артами, черпать из них идеи или генерировать так подмалёвки.

Работа, созданная в Midjourney. Автор: WhimmY
Здесь мы приводим список основных «рисующих» нейросетей, даем инструкции к ним и отмечаем плюсы и минусы. Важно: плюсы и минусы субъективные, так что советуем самостоятельно попробовать нейросети и понять, какие вам нравятся больше всего.
ИИ постоянно обновляются, так что данный материал актуален на декабрь 2022!

Нейросеть преуспела в творчестве. На конкурсе изобразительного искусства победила картина “Пространство оперного театра” нарисованная на Midjourney. Главный куратор Джейсон Аллен, прокомментировал, что работа его только вдохновила. ИИ обучался по подсказкам Аллена, что вызвало большое обсуждение в интернете.

Нейросети — это неисчерпаемый источник референсов и идей, который достаточно легко улавливает пожелания художника и может создавать то, что действительно необходимо.
Если вы хотите научиться использовать нейросети и внедрить их в свою работу, чтобы легче справляться с рутинными художественными задачами, предлагаем пройти наш курс «Нейросети для художника».
На курсе мы научим вас пользоваться популярными нейросетями и покажем, как их превратить в инструмент, который вы сможете использовать в своей работе.