Нейросеть научилась распознавать образы из головы человека

Другой эксперимент с очками был проведен авторами из отечественной компании ProductivityInside еще в 2021 году. Автор исследования также брал за основу сеть Face++ и пытался обмануть ее различными методами: закрывал лицо ладонью, маской, а также изображениями других людей. В результате робот «ослеп» только в одном случае: когда автор одновременно надел на себя солнечные очки с широкими линзами и медицинскую маску.

Для обмана нейросети ученые использовали обычную пластиковую оправу без стекол, на которую была нанесена обычная бумага с печатью, содержащая ритмичный цветной принт. В результате проведенного эксперимента из 143 добровольцев нейросеть не смогла узнать никого из тех, кто носил эти специально подготовленные очки.

Ранее диффузионные нейросети никогда не использовались для реконструкции изображений предметов на основе данных о мозговой активности людей. В отдельных работах для этой цели использовались другие типы нейросетей, но реконструируемые ими картинки обладали крайне низким качеством, при этом требовалось длительное и непростое обучение. Специалисты из Осаки предположили, что диффузионная модель позволит наконец-то создать реконструируемое изображение высокого качества, где «задуманный» предмет будет воспроизведен со всеми деталями.

Однако фокус проходил не всегда – успех сокрытия личности сильно зависит от ракурса и условий освещенности окружения. Сейчас очки со встроенными свеодиодами эволюционировали и превратились в киберпанковские полушлемы, которые более эффективно затрудняют считывание личности.

Также специалисты выделили две ключевых зоны мозга, отвечающих за визуализацию изображения. Оказалось, что височные доли отвечают за содержание, а затылочная зона воссоздает размер и общее расположение объектов. Для генерации «задуманных» объектов ученые соединили зрительную и семантическую информацию. По активности «визуальной» зоны коры нейросеть рисовала общий объем и перспективу. Затем подключалась семантическая информация, и диффузный алгоритм доводил картинку до узнаваемого объекта.

Японские ученые взяли из базы NSD данные лишь четырех человек. Для обучения нейросети Stable Diffusion отобрали около 30 тысяч снимков фМРТ и соответствующих им изображений. Программу учили понимать по представленному снимку, какое изображение видел в этот момент испытуемый. При этом применялись простые линейные зависимости.

Конечно, до полноценного чтения мыслей пока еще далеко. Ученые уже успели убедиться, что качество реконструируемого объекта зависит от особенностей функционирования мозга конкретного испытуемого. Возможно, это связано со способностями того или иного человека к визуализации. Кроме того, нейросеть пока научилась распознавать только ограниченное количество изображений, заложенных при обучении. Тем не менее, достоинством работы является воспроизведение по фМРТ-сканам хорошо узнаваемых изображений. Важно также, что обучение оказалось сравнительно простым. С помощью той же технологии потенциально можно расшифровать субъективные переживания тестируемых и даже сны.

Нейросеть Stable Diffusion смогла с высокой степенью точности воспроизвести изображения по фМРТ-снимкам головного мозга людей. На этих снимках видно лишь какие зоны мозга были активны, когда человек смотрел на ту или иную картинку. Сгенерированные картинки на 80% совпали с теми, которые были «задуманы». В большинстве случаев ИИ воссоздал даже цветовое решение оригинала.

Японские аспиранты из Осакского университета научили нейросеть «читать мысли». Суть эксперимента заключалась в том, чтобы по снимкам мозговой активности человека (фМРТ) программа понимала, какое именно изображение визуализировал человек в момент, когда был сделан снимок. Для обучения данному искусству выбрали нейросеть Stable Diffusion. Эта нейросеть с открытым кодом и доступна для внешнего обучения. В ее основе лежит диффузионная модель — ту же модель используют Midjourney, Imagen и другие модные нейросети, лидирующие в создании качественного визуального контента по текстовым описаниям.

Результаты эксперимента объясняются тем, что натренированный алгоритм перестает видеть «опорные точки», по которым он производит анализ индивидуальных черт лица. Если и глаза, и контур лица, и его черты остаются одновременно закрытыми, робот перестает распознавать объект на изображении как человеческое лицо – и не считывает его вообще.

Однако при изменении кода сети и «тренировки» ее на 10 добровольцах, программа успешно справлялась с распознаванием большинства испытуемых. Так что такой обман – только вопрос правильного процесса обучения робота и задача для следующего цикла его развития.

Для финального теста обученной нейросети использовали около тысячи ранее не задействованных в обучении фМРТ-снимков тех же испытуемых. Нейросеть справилась прекрасно: сгенерированные картинки на 80 процентов совпали с теми, на которые смотрел человек. В большинстве случаев ИИ даже воссоздал цветовое решение оригинала.

В качестве обучающего материала для нейросети японцы воспользовались американской открытой базой Natural Scenes Dataset (NSD). Эту базу создавали специально для всех заинтересованных исследователей искусственного интеллекта. При ее создании 8 здоровых испытуемых тысячи раз рассматривали изображения реально существующих предметов, а в это время им делали фМРТ-сканирование головного мозга. Полученные сканы сопоставляли с изображениями. На сканах можно видеть, какие области мозга были наиболее активны при визуализации той или иной картинки.

Системы распознавания лиц со встроенными самообучающимися нейросетями давно стали частью повседневности. Если вам до сих пор кажется, что будущее далеко – вспомните о разблокировке экрана современных смартфонов, которые узнают вас даже с бородой, в маске или в солнечных очках лучше любого шпиона. Помимо этого, такие системы «узнавания» используются для проведения биометрии в банкоматах и отделениях банков, на улицах больших городов давно работает «Витязь», отслеживающий преступников, а на крупных предприятиях сотрудники получают доступ по сканированию радужки глаза.