Как нейросеть видит известные произведения по их названиям

Генерирует изображения

Музей Дали сотрудничал с компаниями Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить проект в жизнь. Картинку создавали по интервью, цитатам, архивным материалам и трехмерным моделям, а искусственный интеллект специализировался на жестах. Всего для работы понадобилось более 6000 кадров с изображением художника и 1000 часов машинного обучения. GS & P использовала эти материалы в обучении алгоритма, что позволило «изучить» лицо и тело Дали.

Кто меня знает, тот понимает, почему из всех произведений классиков мне запомнились только те, что с мистикой и ужасами. Да, нейросетка как-то странно восприняла слово «палата» и несколько чересчур оптимистично смотрит на интерьеры отечественной медицины девятнадцатого века. Или нашего. Но никаких интересных эффектов и несоответствия ожиданиям. Где живет врач Андрей Ефимыч Рагин? В палатах!

Модель художника дорабатывали реальные актеры, которые имели схожую с мастером внешность. Озвучку Дали сделал артист с характерным испанским акцентом. Все это создало «подделку высокого уровня», которая сопровождала гостей музея на выставке «Dali Lives». «Художник» рассказывал истории из своей жизни, цитировал самого себя, открывал дверь и «создавал» картины. Интерактивная система также реагировала на действия посетителей, отвечала на простые вопросы и позировала для селфи.

Все это позволяет дизайнерам сосредоточиться на более творческих и инновационных задачах. ИИ создаст несколько вариантов в качестве первого наброска, который затем можно усовершенствовать в соответствии со своим видением и требованиями клиента. ИИ не заменяет дизайнера, а дополняет его. Эмпатия, налаживание контакта с заказчиком, чувство вкуса — все это пока больше присуще человеку.

Я далеко не поклонник этой книги, где художник сперва получает способности убивать на расстоянии, а потом на его картинах начинает проявляться лавкрафтовское чудовище. Очень хорошие идеи, но, как по мне, Король Ужаса мог бы развить их и круче. Дьюма-Ки — это название острова, на котором поселился художник. И само то, что название вынесено в заголовок романа, указывает на очевидные странности книги. Вам о чём-нибудь это название говорит? Вот и мне нет. А Kandinsky понял всё как-то по-своему…

Если Кинг в ближайшее время не напишет ужастик про писателя, беседующего с нейросеткой, то человечество много потеряет. Потому что — ну! Ну? Очевидно же, что Kandinsky явно намекает, что надо было развивать сюжет в сторону ацтекской культуры. Да, у Кинга по молодости проклятых индейских кладбищ и вещиц было не меньше, чем указанное уносило жизней, оставляя на каждой странице кровавые брызги чернил от персонажей. ИИ говорит тебе, Кинг, возвращайся к истокам!

Мы все пляшем вокруг нейросеток, как персонажи мультсериала вокруг инопланетянина: «Он родился!» Впервые человечество столкнулось с интеллектом, который не является человеческим, но при этом является достаточно развитым, чтобы можно было с ним общаться. Мы исследуем не искусственный интеллект, а себя самих: кто мы, чем мы отличаемся от других.

Попытка испытать на нейросетке классику зарубежную выдала более похожие на запрашиваемое варианты, чем те, что были с русской классикой.

На первой картинке конкретно Пип, да еще и теневая фигура сзади. Помести на обложку книги, никто и не скажет, что это нейросетка сделала, напротив, решат — «как глубоко задумано». Над второй картинкой глубоко думали и я, и Kandinsky. Представления не имею, на что мог надеяться человек на переднем плане картины? Судя по окружающему его пейзажу — тупо выжить. Это что-то между Гербертом Уэллсом и «Затерянным миром» Артура Конан Дойля (аналог Парка Юрского периода стопятидесятилетней давности).

В одном из вариантов локализации экранизации «Томминокеров» перевели как «барабашек». Тут не спойлерю, что же за существа заставляют становиться жителей городка гениями и создавать жутковатые изобретения, является главной интригой романа. Kandinsky считает, что это хомяки. Да, немного иррациональные, но хомяки. В принципе, я в Kandinsky верю. Если он пойдет на коллаб с ChatGPT, и они напишут роман про хомяков, управляющих человечеством, обязуюсь написать рецензию. И попытаться выжить, если ИИ мне начнут за рецу мстить.

«Улыбочку!»

И вообще, не то это я так обучила нейросетку, не то у меня просто мозги немного искусственноинтеллектные, но у нас с Kandinsky сходятся взгляды на русскую классику. Вроде задала сетке запрос «Обыкновенная история», даже не стала писать, что это роман Гончарова . И что?

Ужас, тлен и разруха. Причем на первой картине на заднике какие-то античные, кажется, развалины. Типа, от развалин до развалин. Что тут странного? Обыкновенная же история! Вы как хотите, граждане, а я как-то тудыть, ближе к нашему времени, к современной литературе.

Нейросети могут генерировать текстуры, модели персонажей, окружение, предметы и другие игровые элементы. Это позволяет разработчикам создавать игры с более разнообразным контентом, сокращая время и ресурсы, необходимые для ручной разработки. Например, в игре No Man’s Sky нейросети используются для генерации бесконечного числа планет с уникальными ландшафтами, флорой и фауной. А в марте 2024 года Google представила модель Genie, которая может создавать разные игровые миры из изображений, фотографий и даже эскизов. Она обучена на 200 тыс. часов интернет-видео об играх.

Создатели также использовали наработки в генеративно-состязательных нейросетях (GAN) и машинное мета-обучение. Одна модель «дорисовывает» недостающие детали, вторая пытается определить, что изображение искусственное, а не настоящее. Разработчики отмечают, что для обучения модель использует всего несколько фото или картинок. Источником материала стала база данных с видеоизображениями знаменитостей.

Громадный культурный бэкграунд мешает нам воспринимать произведения так, как с ними знакомились первые читатели, но искусственный интеллект возвращает нам чистоту восприятия. Что ж, посмотрим, как нейросеть Kandinsky видит то, что нам не разглядеть (частично потому, что оно у нас в печенках).

В середине июля этого года россиянин Денис Ширяев тоже поучаствовал в «оживлении» портретов при помощи нейросетей. Молодой человек начал работать с технологией четыре года назад, когда завел Telegram-канал об IT. Денис брал старые видео, обучал нейросеть преображать картинку и выкладывал ролики на YouTube.

Вот тут повезло больше, хотя и бытовало ощущение, что нейросеть уже как-то выучила, что такое Раскольников, старушка и многие другие элементы, которые пытаются высмеять подростки, чтобы снять стресс после того, как столкнулись в нежном возрасте с глубокими копаниями в психике не очень здорового студента, отправившегося своими силами и топором спасать Пенсионный фонд.

М-да. И Достоевский , и нейросетка в один голос согласны, что мрачные питерские интерьеры и экстерьеры в ненастную погоду вызывают желание кого-нибудь порешить топором.

Я оживлю ваше лицо с одного снимка!

Это давняя шутка: большинство детей считает, что произведение про кладбища и восставших мертвецов. Но когда приходит время, школьник узнает, что готические произведения русских авторов не дошли до школьной программы, русская классика намного более суровое дело, чем какие-то там милые зомби, буа-га-га! Но нейросетка, благослови Боже все ее формулы, возвращает нам тот детский восторженный ужас перед названием!

Кстати, это не единственный раз, когда нейросетка сделала из названия компьютерную игру. Кстати, вот бы во что сыграть. «Девушка, вы из живых или мертвых? Как вас зовут?» — «Я пока не определилась и зовут меня Коробочка!»

Два последних варианта меня дико радуют, так как напоминают попытку нейросетки сделать свою вариацию шкатулку Лемаршана из «Восставших из ада», потерявшуюся в закромах Плюшкина.

В конце мая 2019 года специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow и инженеры СколТеха научили нейросеть реалистично «оживлять» портреты. Система создает анимированные изображения с помощью 1-8 статичных кадров лица. Так реализуется подход few-shot learning, обучение на малом количестве примеров. Для самого точного «говорящего портрета» требуется более 32 изображений.

ИИ автоматизирует многие задачи дизайнера. Установив определенные параметры, можно поручить алгоритмам создавать макеты, композиции и даже целые проекты. Для этого подойдут генеративные инструменты вроде Stable Diffusion, DALL-E 2, Midjourney, Adobe Firefly. Инструменты редактирования изображений на базе искусственного интеллекта, такие как Canva и MS Designer, могут ретушировать и улучшать изображения без необходимости ручной настройки. Еще ИИ может помочь дизайнерам работать с изображениями с низким разрешением, сохраняя визуальную целостность даже при увеличении изображений.

Тут сдаю монстров без зазрения совести, интрига всё равно не в них. Лангольеры — это существа, которые пожирают время. Отражения реального времени остаются на временной цепочке, а лангольеры идут вслед за нами по временной линии, и пока вы читаете эти строки, они там в прошлом пожирают пол пятого. Kandinsky увидел их так.

Милахи, не? На последней фотке вообще персонаж из мультфильма «Делай ноги 2», сейчас начинает отплясывать под «Андер Прешшу». Воооот! Удивительно неподходящее имя для монстров придумал Кинг. Мы-то с вами знаем, как должны выглядеть пожиратели времени, потому что существа, пожирающие время, это книги и котики. И кто скажет, что книги — это не существа, на того я натравлю свои зубастые гримуары по теневой магии (о да, у меня такие есть).

В обработке и анимации статичных изображений голов использовались три нейросети. Embedder (сеть для выделения признаков) разделяет изображения головы по лицевыми ориентирами на векторы, которые содержат независимую от позы информацию. Generator (сеть порождения изображений) использует их и генерирует набор сверточных слоев, которые обеспечивают устойчивость к искажениям исходника. Discriminator применяют для оценки качества и подлинности результата сети-генератора. В конце система превращает ориентиры лица человека в реалистичные фотопортреты.

Далее я перешла на книги Стивена Кинга , у него их масса и, что особенно хорошо, у них есть масса странных названий, которые сходу не очень-то точно интерпретируешь. О чём говорит название «Чужак»? Не буду говорить, что умеет монстр из этой книги, чтобы не портить вам интригу первой части. Но монстр будет. Kandinsky это прочувствовал.

Мне кажется, он говорит нам всем: «Добрый вечер»! Добрый вечер, милаш!