9 крутых нейросетей, которые создают картинки по тексту

Botto

В октябре 2018 года на торгах старейшего аукционного дома Christie’s впервые продали картину, созданную искусственным интеллектом. Не меньше самого события привлекла внимание сумма, за которую лот ушел с молотка, — $432,5 тыс. (более 26 млн руб. по сегодняшнему курсу), что в 45 раз превысило первоначальную оценку — $7–10 тыс.

В ноябре 2020 года в московском кафе «Просвет» прошла выставка работ «Николая Иронова». Всего было представлено десять полотен на хлопковых холстах, стиль которых создатели описали как «непринужденность и случайность форм, угловатая пластика линий и полная свобода от любых стереотипов».

Правда, несмотря на все достижения науки, пока нейросети требуют большого количества технических ресурсов, включая мощнейшие компьютеры, а также не могут соперничать с мозгом человека, где и синапсов больше, и работать они могут параллельно друг с другом. А нейросети пока функционируют лишь через разделение любой, даже самой простой задачи, на череду последовательных шагов к её выполнению. Но уже сейчас нейронные сети способны существенно помогать человеку в повседневных задачах.

В ноябре 2017 года картину «Святой Георгий, убивающий дракона» продали на аукционе в Нью-Йорке за $16 тыс. Над полотном трудилась программа AICAN. Создатели во главе с профессором Ахмедом Эльгаммалом описывают ИИ как «почти автономного художника, который изучил существующие стили и эстетику и может создавать собственные инновационные изображения». Картины, нарисованные AICAN, еще менее реалистичные, чем у GAN. На них и вовсе непонятно, где лицо, а вместо рук у героев — лапы зверя. Тем не менее, работы продаются, а большая часть вырученных средств идет на финансирование исследований в Ратгерском университете в Нью-Джерси, где и появилась нейросеть.

Не очень высокое качество отрисовки, тем не менее, не помешало проекту взорвать интернет. Довольно быстро появился форум на Reddit (сейчас там больше 100 тысяч подписчиков) и Twitter-сообщество (миллионник), где пользователи делятся самыми безумными вариантами генерации — нередко из них рождаются новые мемы (вот, например, Танос, который ищет свою маму в супермаркете Walmart, а вот Дарт Вейдер, попавший на камеру видеонаблюдения во время брейкданса).

Недавно бета-версия DALL·E 2 стала доступна онлайн — чтобы протестировать ее, нужно встать в лист ожидания и дождаться очереди. Если же хочется понять прямо сейчас, на что способны современные нейросети, составили подборку программ на базе ИИ, которые создают картинки по текстовому описанию. Одни из них идеально подходят для портретов, другие — для сюрреалистичного искусства и иллюстраций. Можете испытать их сами или посмотреть на картинки, которые сгенерировали мы.

Работает алгоритм не идеально — он ближе к уже устаревшей первой версии американской DALL·E. Однако это все еще самая сложная нейросеть в РФ. На ее тренировку ушло 24 тысяч GPU-дней — так называют произведение задействованных GPU (графических процессоров) и дней, которые ушли на обучение алгоритма (так, если вы используете 5 GPU и тренируете сеть 5 дней, потратите 25 GPU-дней).

Еще одна программа, вдохновленная детищем OpenAI — ее создал энтузиаст из Техаса Борис Дайма для участия в конкурсе программистов. Сгенерировать картинку можно на сайте — вы получите сразу девять вариантов запроса не более, чем за две минуты. Правда, изображения в плане детальности уступают топовым проектам — нейронная сеть использует меньший набор параметров и обучена всего на 30 миллионах примеров, хотя создана на той же архитектуре, что и оригинальная DALL·E.

«Николай Иронов»

Современные технологии развиваются так стремительно, что нейросети, совсем недавно бывшие лишь нелепой забавой, сегодня стали серьезными и эффективными помощниками человека. Причем не только в механической работе, требующей точности в изучении огромного массива данных, но и в творческих задачах. Уже сейчас нейросеть рисует картины, портреты и делает фотореалистичные изображения по простому текстовому описанию.

В арт-сообществе работы, созданные ИИ, вызывают неприятие, а порой и возмущение. Художники считают, что такие картины «без души» не должны соседствовать с их полотнами в галереях или на аукционах. Однако сопротивление развитию технологий не отменяет того, что полотна за авторством нейросети уже продают за сотни тысяч долларов и выставляют на обозрение в галереях по всему миру. Вот лишь несколько таких примеров.

По словам разработчиков, Imagine работает лучше, чем детище OpenAI. Но верить приходится на слово — проект находится на экспериментальной стадии (и непонятно, когда из нее выйдет). Пока можно ознакомиться с примерами работ, либо попробовать небольшое демо на официальном сайте (нам предлагают составить запрос из нескольких готовых шаблонов).

Midjourney называют более художественной нейросетью (в противовес DALL·E — более реалистичной), с ее помощью можно создавать сложные арты, удивляющие креативностью. Попробовать можно бесплатно в Discord (для этого нужно выбрать любую комнату в разделе Newcomer rooms, написать в чате /imagine и в строке promt вписать описание картинки на английском; если не поняли, вот инструкция).

Кстати, о Google: корпорации тоже удалось оставить свой след в искусстве. В марте 2016 года с молотка благотворительного аукциона ушли 29 картин, созданных ИИ, который сами разработчики назвали Inceptionism (интересно, что слово стало нарицательным и теперь обозначает направление в нейроарте). Самое дорогое произведение от команды Google было продано за $8 тыс.

Брейкданс Дарта Вейдера, падение астероида на Землю и животные в исторических костюмах — для искусственного интеллекта нет невозможного. Выбрали интересные проекты от Google, Сбера, NVIDIA и даже от бывшего инженера NASA, которые позволяют генерировать изображения по самым безумным описаниям — многие из них можно попробовать бесплатно.

Нейросеть Botto генерирует изображения на базе всего искусства, когда-либо созданного человеком, на них отдаленно угадывается, например, почерк Рембрандта. За то, какая из экспериментальных работ отправится на аукцион, голосует сообщество владельцев криптовалюты Botto. Сама концепция принадлежит группе компьютерных гениев во главе с Марио Клингеманном, пионером в использовании машинного обучения в искусстве и бывшим сотрудником Google Arts and Culture. Он написал алгоритмы, по которым работает Botto, объясняя, что ему нравится «создавать монстров». Все деньги, вырученные с продажи арта, Клингеманн инвестирует в развитие нейросети.

Искусственный интеллект DALL*E генерирует изображения на основе текстового запроса. Каждый из творцов подошел к работе с «соавтором» по-своему: одни составляли детальное описание картины, которую хотели бы получить, другие лишь задавали основу, а затем самостоятельно дописывали будущее произведение. Среди участников выставки — как новички в этой области, так и профессионалы, например создатель браузера Mighty Сухаил Доши и робототехник Александр Ребен. Выставка продлится до 29 декабря, а сами работы можно посмотреть в каталоге.

Google

Продавали картины, созданные нейросетью, и в России, но за гораздо более скромные деньги — 25 тыс. руб. Автор нейроарта представляется Николаем Ироновым, но на самом деле за человеческим именем скрывается искусственный интеллект. «Николая Иронова» разработали в Студии Артемия Лебедева и поначалу использовали, чтобы создавать большое количество логотипов и генерировать новые дизайнерские решения. Но затем компания предоставила нейросети больше свободы для творчества, так появились «Пейзаж с бутылками и овощами», «Обогреватель», «Безмятежность» и другие картины.

Нейросетям доверено распознавать лица в системах видеонаблюдения, диагностировать болезни при анализе данных пациентов, заменять человека в колл-центрах в роли голосовых помощников да даже привычные всем чат-боты тоже используют в своей основе принцип нейронных сетей. Сервисы по имитации голосов и созданию изображений-дипфейков построены также на нейросетях. А в последнее время нейронным сетям доверили даже творческие задачи — написание стихов и рекламных слоганов, сочинение музыки и сценариев для фильмов, разработку и визуализацию промышленного дизайна, а кроме того — превращение слов в изображение.

В процессе «написания» картин программой управляли сразу 11 инженеров. Cначала они обучили нейросеть: показывали ей миллионы примеров и корректировали параметры до тех пор, пока она не выдала нужные результаты. А затем загрузили в нее изображение, дав задание перевернуть все «вверх дном» и выдать авторскую интерпретацию. Так на картине Ван Гога «Звездная ночь» вместо звезд появились птицы, а пламя кипариса превратилось в некий сосуд, стоящий на лапах разных животных.

В какой-то момент к DALL·E Mini обращались так часто, что компания Hugging Face — владелец серверов, на которых лежал проект — фиксировала по 50 тысяч генераций в сутки (команда не спала ночами, обслуживая нейросеть, пишет Wired). Популярность даже заставила разработчиков сменить название на Craiyon, чтобы алгоритм не ассоциировался с оригинальным проектом OpenAI.

Над «Портретом Эдмонда Белами» работала генеративно-состязательная сеть (GAN) под чутким руководством парижской арт-группы Obvious. Эдмонд Белами — вымышленный персонаж, лицо которого на картине будто расплылось, а сама она выглядит незавершенной. Тем не менее можно рассмотреть одежду героя — белую рубашку и темный сюртук, а еще — подпись художника, алгебраическую формулу. Авторы технологии рассказали, что для создания картины использовали 15 тыс. портретов, датированных XIV и XX веками, на основе которых алгоритм выдал собственное изображение.

Проект одноименной независимой исследовательской лаборатории под руководством бывшего инженера NASA сейчас тоже на стадии бета-тестирования. Как и остальные, Midjourney относится к классу диффузионных нейронных сетей, то есть состоит как бы из двух нейросетей: одна отвечает за распознавание текста, другая — за генерацию изображений.

Прежде чем разбираться с художественными навыками нейросетей, стоит для начала понять, что же это такое — нейронная сеть (она же artificial neural network в английском наименовании). Термин нейросеть своими корнями уходит к исследованиям работы мозга человека и в наши дни применяется к свободно связанному семейству моделей, которые характеризуются большим параметрическим пространством и гибкой структурой. Непонятно? Ничего удивительного, ведь и работа самих нейросетей не самая простая для человека неподготовленного.

За прошедшие с момента своего появления годы нейросеть Сбера сильно изменилась, и если раньше она заметно уступала Midjourney, Stable Diffusion и другим популярным зарубежным аналогам, то с выходом Kandinsky 3.1 качество генерации резко выросло. Нейросеть научилась делать, в том числе, и фотореалистичные изображения, с трудом отличимые от снимков на обычную камеру.