Как нейросеть видит известные произведения по их названиям

Как эти данные оттуда извлечь?

Ниже вы видите иллюстрацию того, как нейросеть на более поздних слоях “видит” характеристики одного участка фотографии. Сбоку показано значение функции активации каждого выхода. Таким образом, что нейросеть “видит”, что выбранный участок похож на шею человека или нижнюю часть лица.

Нейросети состоят из связанных узлов, иногда называемых “нейроны” (в англоязычной литературе часто используется термин nodes). Эти “нейроны” служат фундаментальными вычислительными единицами , которые обрабатывают и передают информацию по всей нейросети. Подобно биологическим нейронам в нашем мозге, искусственные “нейроны” работают совместно для решения сложных задач. Давайте разберем их работу на примере.

Так как чаще всего для обучения нейросетей, распознающих изображения, используется обучение “с учителем” (подробнее о видах обучения можете посмотреть в моей предыдущей статье), когда путешествие фотографии по сети достигает своей кульминации на выходном слое, прогнозы сети сравниваются с реальным содержанием фотографии, анализируя расхождение. Именно здесь в игру вступает обратное распространени е, позволяя сети учиться на своих ошибках и уточнять свое понимание фотографии.

И вообще, не то это я так обучила нейросетку, не то у меня просто мозги немного искусственноинтеллектные, но у нас с Kandinsky сходятся взгляды на русскую классику. Вроде задала сетке запрос «Обыкновенная история», даже не стала писать, что это роман Гончарова . И что?

Ужас, тлен и разруха. Причем на первой картине на заднике какие-то античные, кажется, развалины. Типа, от развалин до развалин. Что тут странного? Обыкновенная же история! Вы как хотите, граждане, а я как-то тудыть, ближе к нашему времени, к современной литературе.

Процесс визуализации признаков начинается со случайного изображения или шума, которое затем подвергается оптимизации, чтобы максимизировать активацию конкретного “нейрона” или группы “нейронов” в определенном слое нейросети. Это достигается путем изменения пикселей изображения таким образом, чтобы они максимально активировали выбранные “нейроны”.

Это давняя шутка: большинство детей считает, что произведение про кладбища и восставших мертвецов. Но когда приходит время, школьник узнает, что готические произведения русских авторов не дошли до школьной программы, русская классика намного более суровое дело, чем какие-то там милые зомби, буа-га-га! Но нейросетка, благослови Боже все ее формулы, возвращает нам тот детский восторженный ужас перед названием!

Кстати, это не единственный раз, когда нейросетка сделала из названия компьютерную игру. Кстати, вот бы во что сыграть. «Девушка, вы из живых или мертвых? Как вас зовут?» — «Я пока не определилась и зовут меня Коробочка!»

Два последних варианта меня дико радуют, так как напоминают попытку нейросетки сделать свою вариацию шкатулку Лемаршана из «Восставших из ада», потерявшуюся в закромах Плюшкина.

Часто также выделяют отдельно сверточные слои (convolution layers): Когда фотография проходит через сверточный слой, происходит что-то похожее на сканирование изображения. Нейросеть на этом слое ищет определенные узоры или фигуры, например, края, углы, или текстуры, которые помогают понять, что на картинке изображено. После сверточного слоя фотография разбивается на кусочки из найденных объектов, которые будут меньше размером и их легче будет анализировать.

Тут сдаю монстров без зазрения совести, интрига всё равно не в них. Лангольеры — это существа, которые пожирают время. Отражения реального времени остаются на временной цепочке, а лангольеры идут вслед за нами по временной линии, и пока вы читаете эти строки, они там в прошлом пожирают пол пятого. Kandinsky увидел их так.

Милахи, не? На последней фотке вообще персонаж из мультфильма «Делай ноги 2», сейчас начинает отплясывать под «Андер Прешшу». Воооот! Удивительно неподходящее имя для монстров придумал Кинг. Мы-то с вами знаем, как должны выглядеть пожиратели времени, потому что существа, пожирающие время, это книги и котики. И кто скажет, что книги — это не существа, на того я натравлю свои зубастые гримуары по теневой магии (о да, у меня такие есть).

Строительные блоки нейронных сетей

Попытка испытать на нейросетке классику зарубежную выдала более похожие на запрашиваемое варианты, чем те, что были с русской классикой.

На первой картинке конкретно Пип, да еще и теневая фигура сзади. Помести на обложку книги, никто и не скажет, что это нейросетка сделала, напротив, решат — «как глубоко задумано». Над второй картинкой глубоко думали и я, и Kandinsky. Представления не имею, на что мог надеяться человек на переднем плане картины? Судя по окружающему его пейзажу — тупо выжить. Это что-то между Гербертом Уэллсом и «Затерянным миром» Артура Конан Дойля (аналог Парка Юрского периода стопятидесятилетней давности).

Вот тут не смогла пройти мимо, захотелось похвастаться: все три генерации блестящи. Глаза Kandinsky даже не всегда делает хорошо (иногда страдает симметричность), но тут, даже если сделать скидку на недостатки сетки, у всех трех барышень очень умный взгляд.

Мне больше всего нравится первая картинка. Лицо юное и взгляд не сфокусирован, но при этом чувствуется упрямый характер девушки.

Представьте себе нейронную сеть, которой поручено проанализировать Вашу фотографию, и сделать выводы относительно ее содержания. Например, какого пола человек изображен на фотографии, во что он одет и сколько ему лет. По мере того, как Ваша фотография начинает свое путешествие по этой нейронной сети, она проходит ряд сложных вычислений.

Я далеко не поклонник этой книги, где художник сперва получает способности убивать на расстоянии, а потом на его картинах начинает проявляться лавкрафтовское чудовище. Очень хорошие идеи, но, как по мне, Король Ужаса мог бы развить их и круче. Дьюма-Ки — это название острова, на котором поселился художник. И само то, что название вынесено в заголовок романа, указывает на очевидные странности книги. Вам о чём-нибудь это название говорит? Вот и мне нет. А Kandinsky понял всё как-то по-своему…

Если Кинг в ближайшее время не напишет ужастик про писателя, беседующего с нейросеткой, то человечество много потеряет. Потому что — ну! Ну? Очевидно же, что Kandinsky явно намекает, что надо было развивать сюжет в сторону ацтекской культуры. Да, у Кинга по молодости проклятых индейских кладбищ и вещиц было не меньше, чем указанное уносило жизней, оставляя на каждой странице кровавые брызги чернил от персонажей. ИИ говорит тебе, Кинг, возвращайся к истокам!

Данные, которые «видит» нейросеть, хранятся в ее весах и смещениях. Обучение нейросети заключается в том, чтобы настроить эти веса и смещения таким образом, чтобы они лучше всего соответствовали задаче классификации или распознавания объектов. Когда нейросеть “видит” какой-то признак, который она уже обучена распознавать, определенная группа “нейронов” в ней “загораются” : подобно связям в мозгу, через которые проходит сигнал. То, насколько сильно нейросеть “реагирует” на какое-то изображение, можно увидеть по значениям функций активаций: чем они больше, тем активнее “нейроны” реагируют на изображения, а значит, они его “узнают” .

Далее я перешла на книги Стивена Кинга , у него их масса и, что особенно хорошо, у них есть масса странных названий, которые сходу не очень-то точно интерпретируешь. О чём говорит название «Чужак»? Не буду говорить, что умеет монстр из этой книги, чтобы не портить вам интригу первой части. Но монстр будет. Kandinsky это прочувствовал.

Мне кажется, он говорит нам всем: «Добрый вечер»! Добрый вечер, милаш!