Компьютерное зрение: что искусственный интеллект видит в зеркале

Нейро-Уорхол

Пока мы балуемся, создавая аватарки в Lensa и просто дурацкие картинки, художники используют машинные алгоритмы по-настоящему изобретательно. На одной только Биеннале будущего, показанной Мультимедиа Арт Музеем (МАММ) сперва в Москве, а затем — фрагментарно — в регионах, можно было увидеть около десятка работ, созданных при помощи ИИ. София Креспо использует машинные алгоритмы весьма традиционно: на основе изображений реальных животных она создает причудливые биоморфные образы, в которых угадываются сразу многие существа и одновременно ни одно из них.

Машины удивили ученых. Точность, с которой искусственный интеллект распознает отраженные изображения, составила от 60 до 90%. Чтобы обнаружить признаки, по которым машинный алгоритм отличает «перевертыш» от оригинала, группа ученых под руководством Ноя Снейвли, доцента кафедры компьютерных наук в Корнельском университете, создала тепловую карту. Карта отображала области, которые казались «подозрительными» искусственному интеллекту. Некоторые признаки зеркальных изображений были очевидны, другие же оказались настолько неожиданными, что их с трудом различали люди.

Разумеется, невозможно говорить о машине как о самостоятельном кураторе: то, как она производит отбор, зависит от параметров, заданных человеком-оператором. Зато она способна за секунды проанализировать огромный массив оцифрованных изображений и тем самым посодействовать кураторским экспериментам, задействующим коллекции с тысячами экспонатов. Так, в рамках проекта «Мерцающий атлас человеческого взгляда» удалось составить своеобразную «карту», визуализирующую, куда смотрят герои картин, фотографий, скульптур и монет из коллекции Гарвардских художественных музеев. Даже музей Бельведер и Академия изобразительных искусств в Вене доверили свои оцифрованные фонды инициаторам проекта Dust and Data, также изучающим кураторский потенциал искусственного интеллекта.

В отличие от сегодняшних нейросетей, AARON не мог обучаться самостоятельно на основе гигантских массивов данных, а лишь следовал инструкциям. Только для того, чтобы машина освоила рисование головы и «поняла», что нос помещается на лице, а не где-то еще, Коэну пришлось внести в программу 4 тыс. правил. В сущности, художник создал автоматизированную версию самого себя, способную работать в том же стиле и теми же методами. Тем не менее AARON можно считать самым ярким провозвестником нейро­искусства, породившим целую область исследований, называемую «вычислительной креативностью».

«Если машина начала писать, ее не остановить. Точку приходится ставить принудительно, иначе текст будет генерироваться бесконечно», — вспоминает искусствовед Каролина Пескишева, участница кураторской школы Avant-Garde LAB в Еврейском музее и центре толерантности. Выпуск, который вела Наталья Фукс, занимался производством «Манифеста манифестов». Обучившись на сотнях исторических манифестов на английском языке, нейросеть выдала собственный, в котором соединились и киберфеминизм, и кризис культуры, и вопросы расизма. Наталья Фукс подчеркивает, что машинная логика «не имитирует существующие тексты, а создает на их основе новые конструкты». Сейчас готовится вторая итерация «Манифеста манифестов», теперь уже на русском языке. Датасет для обучения машины включает программные заявления, написанные художниками, архитекторами, писателями, кинематографистами и теоретиками новых медиа за более чем 100 лет. Бесконечное нейропослание воплотится в виде звучащей художественно-технологической выставки, которая откроется в марте в Центре изучения конструктивизма «Зотов» и будет концептуально перекликаться с другим проектом, посвященным языку авангарда.

Самой легкой подсказкой был текст. Искусственный интеллект мгновенно определял зеркальные изображения по перевернутым буквам. Тогда исследователи исключили такие снимки из эксперимента. В числе других признаков оказались наручные часы, пуговицы на рубашках, которые, как правило, с левой стороны, телефоны — большинство людей держат девайсы в правой руке, а также другие привычки правшей.

Нейробиеннале

Наши ленты в соцсетях формируют особые алгоритмы: стоит поставить лайк или задержаться взглядом на какой-либо публикации, и система начнет предлагать аналогичные, скрывая остальное. А что если те же алгоритмы влияли бы на музейные экспозиции? Какие художники и сюжеты были бы в топе, а что убрали бы в запасник? Об этом заставляет задуматься эксперимент, который в 2021 году провели в Муниципальном дворце Болоньи, где находится городская коллекция предметов искусства. Миниатюрные камеры, расположенные рядом с произведениями, считывали эмоциональные реакции посетителей, различая веселое, грустное, нейтральное, удивленное и сердитое выражение лица, а также траекторию скольжения взгляда по картинам, а затем отправляли отчет в базу данных. Предполагалось, что кураторы на основе этой информации смогут корректировать развеску работ.

Каждый из используемых машиной признаков не выглядит достаточно убедительным в отдельности. Однако ученые убеждены, что в совокупности ряд ключей для анализа вполне надежен. В любом случае, изучение реакции искусственного интеллекта на зеркально отраженные снимки имеет важное значение. Оно поможет выявить погрешности на этапе машинного обучения, а также пригодится для идентификации фальшивых снимков, которыми кишит сегодня Интернет. В будущем же подобные алгоритмы могут уберечь высокоорганизованного робота от «драки» с зеркалом, в котором он увидит и распознает отраженного себя.

Работа напоминает о том, что нейросеть-художник, как бы парадоксально это ни звучало, весьма консервативна: она копирует знакомые формы, а не придумывает что-то свое. Дуэт Gray Cake обу­чил нейросеть различать на видео протестных акций демонстрантов и полицейских, а затем избирательно применять ретушь. Джейк Элвес в инсталляции «Замкнутый цикл» показал странный диалог между рекуррентной нейронной сетью, создающей подписи для изображений, и генеративной нейронной сетью, иллюстрирующей тексты. Список примеров можно продолжать и продолжать.

Характер мазков, оставленных на холсте живописцем, так же уникален, как и отпечатки его пальцев. Даже скрупулезно копируя другого художника, невозможно в полной мере контролировать то, как краска сходит с кисти на холст. Группа ученых из Университета Кейс-Вестерн-Резерв (Кливленд, США) обучила нейронную сеть улавливать специфику индивидуальных мазков и тем самым отличать работу одного автора от другого. Искусственный интеллект «видит» картину через трехмерные топографические сканы ее поверхности. Анализируя небольшие, размером в несколько миллиметров, фрагменты, он способен зафиксировать малейшие изменения в способе наложения краски, которые могут быть вызваны тем, как художник держит и использует кисть. В ходе первых экспериментов нейросети удавалось верно идентифицировать автора мазка в 95% случаев (использовались работы студентов Кливлендского института искусств, копировавших фотографии водяной лилии). Разработка могла бы послужить дополнительным инструментом как при выявлении подделок, так и при определении вклада разных художников в одну и ту же картину — к примеру, на полотнах, созданных в мастерских Тициана, Рубенса или Рембрандта, подчас невозможно отличить руку звездного мастера от руки его учеников. Сложно сказать, решатся ли эксперты всерьез полагаться на машинные алгоритмы при атрибуции произведений искусства. Впрочем, громкий прецедент, когда выводы искусственного интеллекта совпали с выводами крупных искусствоведов, уже есть: осенью 2021 года в ходе исследования, проведенного швейцарской компанией Art Recognition, нейросеть показала, что с вероятностью 91% Рубенс не является автором приписываемой ему картины «Самсон и Далила», подтвердив сомнения ряда экспертов. Нейросеть пришла к такому заключению, сравнив спорную картину с 148 другими, принадлежность которых кисти Рубенса не вызывает сомнений.

«Удивительно, что сотрудничество с нейросетью было предложено самому технофобскому писателю Российской Федерации», — так литератор и художник Павел Пепперштейн прокомментировал выход в издательстве Individuum книги «Пытаясь проснуться» (2022). У книги два автора: сам Пепперштейн и НейроПепперштейн — под этим псевдонимом скрывается лингвистическая модель ruGPT-3, разработанная командой SberDevices. Оба автора написали по 12 рассказов в духе психоделического реализма — от уморительного перепрочтения «Репки» до трагической истории противостояния товарища Самойлова и агрессивно настроенных пчел. Но кто стоит за каждым из рассказов — секрет. Издательство предлагает читателям делиться своими догадками через форму обратной связи на сайте. Однако не все так просто: не только нейросеть, обученная на сочинениях и интервью Пепперштейна, пыталась сымитировать его слог, но и тот, в свою очередь, имитировал особенности машинного текста. А чтобы как-то персонифицировать своего нейропартнера, писатель представил его в виде бесполого существа по имени Тесорйен. Оно пребывает в состоянии сонного морока и потому производит рассказы, которые, как и сны, трудно запомнить и пересказать.

Искусственный интеллект (ИИ) теперь не только обыгрывает человека в шахматы, но также проводит атрибуцию картин Рубенса и создает произведения, которые улетают с молотка на ведущих аукционах. Кто-то относится к этому с иронией, кто-то видит в новых разработках большой потенциал, а кто-то не на шутку обеспокоен этическими аспектами таких практик. Не вдаваясь в теоретические вопросы, расскажем о том, как искусственный интеллект — и прежде всего нейросети — проявил себя на ниве искусства, выступая не только вспомогательным инструментом кураторов и экспертов, но и полноценным соавтором художников.

Однако подобные события реализованы не только в виртуальном, но и в реальном пространстве. Так, участники 10-й Бухарестской биеннале, прошедшей в 2022 году, были отобраны не кем иным, как искусственным интеллектом. Свое имя — Джарвис — он получил в честь помощника Железного человека из киновселенной Marvel. Джарвис проводил кастинг, основываясь на популярности художников и на том, насколько их искусство соответствует заявленной теме «Каждый достоин бросить вызов поп-культуре».

Сегодня любой может создать изображение при помощи нейросети: достаточно отправить текстовый запрос, и система сгенерирует результат. Для использования text-to-image-моделей, таких как DALL-E, Midjourney, Stable Diffusion и отечественная Kandinsky 2.0, не требуется ни специальных навыков, ни оборудования.