Кто такой нейрохудожник и как нейросети создают картины в стиле Ван Гога

ЭКСПЕРИМЕНТЫ С ЭСТЕТИКОЙ

Сергей Костырко: Существует ряд проблем, связанных с этикой использования алгоритмов машинного обучения в ходе создания художественных произведений. В первую очередь, здесь поднимаются вопросы авторства: во многих случаях художники не разрабатывают свои собственные модели, а используют уже готовые, а для их обучения используются работы других авторов. Возникает резонный вопрос: кто является настоящим автором работ, созданных на основе таких моделей?

Разные исследователи говорят о разном времени появления AI-арта. Например, швейцарский арт-коллектив Mediengruppe Bitnik называет пионером художницу Линн Хершман Лисон, которая исследует искусственный интеллект с 1980-х годов. А Елена Никоноле, российская исследовательница искусственного интеллекта, считает датой появления такого творчества выставку Cybernetic Serendipity, которая прошла в Лондоне в 1968 году и была посвящена произведениям, созданным с помощью алгоритмов.

Машинное обучение на протяжении долгих лет используется для разработки алгоритмических композиций, и многие художники даже не акцентируют на этом внимание. Это просто некоторый набор инструментов, позволяющий решать поставленные задачи. Но все же есть достаточно нестандартные подходы, которые хотелось бы упомянуть. Например, cellF – синтезатор, созданный австралийским художником Guy Ben-Ary на основе выращенной на плате (причем из своих же стволовых клеток) биологической нейронной сети. Эта нейронная сеть реагирует на внешние звуковые стимулы, управляя синтезом звука, вокруг чего была построена серия перформансов, где приглашенные музыканты импровизировали с таким вот биороботом. Или проект Dead Language Poetry, серия работ норвежского композитора и художника Espen Sommer Eide, в рамках которой он экспериментирует с искусственной нейронной сетью, обученной на аудиозаписях c речью носителей мертвых языков.

Елена Никоноле: Я бы отсчитывала AI-Аrt от выставки Cybernetic Serendipity, которая прошла в 1968 году Институте современного искусства в Лондоне под кураторством Ясии Рейхардт. Эта выставка была посвящена различным формам искусства, созданного с помощью алгоритмов, и работы, связанные с искусственным интеллектом на ней тоже были.

В работе нейрохудожника в будущем может появиться несколько направлений. Например, кто-то будет специализироваться на небольших, иногда монотонных задачах — стандартных логотипах, обложках, артах, аватарках для соцсетей. А кто-то — на более крупных и творческих проектах: например, на картинах, стилизованных портретах, сериях плакатов, иллюстрациях для коммерческих компаний.

Совсем другой метод работы с алгоритмами и звуком предлагает, например, Сергей Костырко в проекте “Сыр с личинками”, который в этом году была представлена на EMA Expo. По словам художника, изначально работа готовилась в формате концертного выступления, где рой личинок служил генератором для управления модульным синтезатором. Для этого поведение личинок анализировалось в реальном времени с помощью микроскопа и алгоритма, позволяющего оценивать движение объектов на видеоизображении. Полученные данные о скорости и направлении движения конвертировались в сигналы, управляющие тем или иным модулем синтезатора. Но специально для EMA Expo этот подход был несколько переработан, что позволило представить работу в форме аудиовизуальной инсталляции, зрители которой могут наблюдать не только за изменением звука, но и за движением личинок.

«Могут ли нейронные сети заменить художников?» — на сегодняшний день уже смотря какие.
Если например в халявной Stable Diffusion Online в строке ввести рука/hand, то результаты будут «впечатляющие»: покрученные подагрой польцы мутанта, их произвольное количество. 😀
Но вот например такому декламатору для создания постера к аудиокниге обращаться к художнику уже НЕ нужно — у него и самого очень прилично получается — ссылка на Телеграм (только не понял, в какой нейронке это создано).

Эта профессия может называться по-разному: нейрохудожник, нейроиллюстратор, AI-художник, AI-artist и даже нейровебхудожник. Суть одна — генерировать изображения, арты, логотипы с помощью нейросетей. А уже созданные произведения можно использовать как основу для дальнейшей работы или как полноценный контент. Нейросеть для нейрохудожника — это, по сути, инструмент, как фотоаппарат для фотографа. За последние несколько лет появился ряд нейросетей, умеющих генерировать изображения. Самые популярные: DALL-E, Midjourney, Stable Diffusion, Kandinsky 2.1, Starryai, GauGAN2 (Nvidia), Dream by WOMBO. У них разная функциональность: например, одни создают простые картинки, другие достигли фотореализма, третьи могут обрабатывать фотографии и выдавать переработанные нейро-образы конкретных людей.

Откуда пришла профессия

Нейросети — это новый инструмент для художника. Способ быстро получить набор необходимых изображений для работы с ними. Теперь нет необходимости изучать агрегаторы изображений для вдохновения, люди могут просто использовать любой из сервисов нейросетей – это быстро и требует меньше усилий. Также нейронные сети помогают очень быстро визуализировать идеи. Это будет полезно не только художникам, но и геймдизайнерам. С помощью сгенерированного изображения легче показать стиль и атмосферу, которые вы хотите увидеть в своем проекте.

Mediengruppe Bitnik: Это большой вызов – отразить в искусстве критический подход к технологиям. Так нам удается не только воспроизводить эстетическую поверхность этих потрясающих технологий в наших проектах, но и говорить о структурах власти, которые лежат в их основе, об их предвзятости и тех общностях, темах и людях, которые оказались вне этих новых технологий. Какие отношения мы устанавливаем с этими устройствами? Что произойдет, если устройства будут взломаны, если данные, которые эти устройства собирают о нас, будут украдены и использованы против нас? Увеличится или уменьшится моя способность действовать, если я подключусь к искусственному интеллекту?

Нейрохудожник формулирует запросы, по которым ИИ генерирует изображение. Например, просит нарисовать кота, смотрящего на луну, пейзаж в стиле Пикассо, плакат о защите природы, солдата верхом на лошади и т. д. Нейросеть — это своего рода библиотека данных, на основе которых и создается новое уникальное изображение. Но не все так просто — чтобы получить действительно хороший результат, задачу нужно тщательно продумать. Иногда нужно часами сидеть над описанием, формулируя запрос в мельчайших деталях, или улучшать полученное изображение в графических редакторах. Так как машинные алгоритмы не умеют мыслить, они могут создавать хаотичные и нелогичные рисунки. Без помощи нейрохудожника, который может уточнить задачу и скорректировать запрос, нужный результат получить очень сложно.

# 1 Artbreeder
Смешивает разные изображения вместе. Вы можете сделать несколько портретов и получить новое лицо. И вы также можете изменять пол, возраст, настроение, черты лица. Однако у вас получится создавать портреты только из базы данных — загружать свои собственные изображения нельзя. Как использовать: Чтобы сгенерировать новую картинку, нажмите на зеленый знак плюса в правом верхнем углу экрана. Затем в открывшемся окне выберите тему будущей картины.
Затем нажмите на кнопку “Добавить шаблон” и выберите изображения для обработки. Поиграйте с настройками, чтобы получить интересную картинку.
# 2 Nvidia GauGAN
На самом деле это не одна нейросеть, а две. Одна из них создает изображения, очень похожие на те, что содержатся в базе знаний нейросети. Вторая определяет, является ли оно уникальным. Кажется, что эти две нейронные сети постоянно конкурируют друг с другом. Поэтому данная нейронная сеть называется генеративно-состязательной. Как использовать: Выберите тему рисунка и рисуйте в левой части экрана. Когда рисунок будет готов, установите флажки внизу рабочей области, чтобы согласиться с условиями использования. Затем выберите стиль изображения и нажмите на кнопку со стрелкой вправо. В правой части экрана вы увидите результат.
# 3 EbSynth
Сеть для стилизации и изменения изображений или видео. Допустим, вы хотите сменить форму Арнольда Шварценеггера в фильме “Терминатор”. Для этого вам нужно взять один кадр, сохранить его, перерисовать так, как вы хотите, и запустить команду для обработки видео в соответствии с этим кадром. Как использовать: Процесс довольно трудоемкий и требует подготовки. Вам нужны видео и раскадровка в формате PNG. Выберите один кадр, обработайте его и сохраните в папке. Программа синхронизирует обработанный кадр с видео. # 4 Мечта WOMБО
Эта сеть также генерирует изображения на основе текстового описания в соответствии с указанными шаблонами. В результате получаются абстрактные рисунки. Как использовать: В столбце «Ввести запрос» введите ключевые слова, выберите стиль ниже и нажмите кнопку «Создать».

Почему нейронные сети сейчас на хайпе, какие проблемы видят художники в развитии искусственного интеллекта, где можно посмотреть на искусство алгоритмов? В этой статье мы собрали ответы на все вопросы для тех, кто только начинает знакомиться с этой занимательной областью на стыке искусства и новейших технологий. Нашими экспертами стали Елена Никоноле —медиахудожница и преподаватель, чьи области интересов — гибридное искусство и искусственный интеллект, а также участники выставки Experimental Music and Art Expo 2021, которая была показана в Образовательном центре ММОМА в Москве, – Mediengruppe Bitnik (Швейцария) и Сергей Костырко (Россия).

Возникший как попытка математически смоделировать, как работает мышление и обучение,, искусственный интеллект оказался способен на то, на что не способен разум человека. Он может обрабатывать такие объемы информации, которые мы даже не можем себе представить, и на основании этого выдать результаты, которые мы не можем объяснить. Неудивительно, что в работах художников технология нередко предстает как нечто сакральное. Так, зрители инсталляции Марио Клингемана «Apropriate Response» («Соответствующий ответ») ощущают себя, словно в церкви, перед лицом нейросети, которая выдает им не существующие, искусственно сгенерированные афоризмы.

Могут ли нейронные сети заменить художников?

Влияние нейронных сетей сопоставимо с появлением электричества и Интернета. Как и другие general profile technology, эта технология универсальна и трансформирует общество на разных уровнях. Алгоритмы Google, Facebook, Spotify и многих других платформ на основе нашей активности в Сети пытаются предсказать, что бы мы хотели увидеть, и предлагают нам это.

Другое важное направление – развитие потенциала искуственного интеллекта, поскольку создатели нейросетей, как и любых других технологий, часто недоконца понимают их возможности. В качестве удачного примера Елена Никоноле назвала проект VFRAME Адама Харви в сотрудничестве с Сирийским архивом. (Сирийский архив – правозащитная организация с главным офисом в Берлине, собирающая в Сети данные о Сирийском конфликте, чтобы с их помощью раскрывать преступления). Харви хотел обучить машины распознавать на видео запрещенное вооружение. Однако выяснилось, что в открытом доступе слишком мало изображений запрещенных бомб, для того чтобы научить машину распознавать их. Тогда Харви на основе реальных изображений оружия сделал 3d-модели, раскрасил и сфотографировал с разных ракурсов, при разном освещении. Так удалось искусственно создать базу изображений для обучения ИИ.

Mediengruppe Bitnik: Одним из пионеров, безусловно, является Линн Хершман Лисон, американская художница, которая исследует центральные вопросы о наших отношениях с технологиями в своей работе с 1980-х годов. Она очень рано экспериментировала с чат-ботами, и ее голос очень актуален в этой области. Адам Харви много лет работал над проблемами машинного восприятия, машинного обучения, данных, а также систем мониторинга и управления, которые генерируют эти поля. Дуэт художников Übermorgen является пионером движения Net.Art и кураторами онлайн-выставки «Следующее биеннале следует курировать с помощью машины» в музее Уитни, которая оставляет выставку самообучающейся машине.

Сергей Костырко: Во время прослушивания музыкальных произведений или саунд-арт работ, в первую очередь, фокусируешься на звуке – из каких деталей он состоит, как меняется во времени, какие при этом взаимодействия происходят внутри, каким образом достигается объем, и т.д. Однако мне всегда интересно разобраться и с технической реализацией, и с концептуальной составляющей – это позволяет лучше понять работу.

Как мы выяснили, нейросети — это инструменты, которые будут полезны художнику.
Вы можете использовать изображение, созданное нейронной сетью, в качестве нижнего рисунка и рисовать поверх него.
Вы можете устроить битву между художником и нейросетью, когда ИИ и человек рисуют картинку на одну и ту же тему. Затем путем голосования выберите, кто лучше справился с задачей.

Художники, работающие с алгоритмами, как правило, сами не пишут нейросети и не имеют специального образования в сфере IT, но им необходимо уметь писать, редактировать и понимать код. Многие проекты вообще делаются не художниками, например, этот Инстаграм-аккаунт, созданный при помощи нейронной сети: @Neutral_tp.