Как нейросети «видят» человека в очках

Как это работает

Для обмана нейросети ученые использовали обычную пластиковую оправу без стекол, на которую была нанесена обычная бумага с печатью, содержащая ритмичный цветной принт. В результате проведенного эксперимента из 143 добровольцев нейросеть не смогла узнать никого из тех, кто носил эти специально подготовленные очки.

На ранних этапах обучения команда разработчиков решила объединить излучатель радиоволн с камерой, чтобы нейросеть смогла соотнести данные. Стены в этом случае не использовались, ведь системе необходимо было видеть объект наблюдения. «Мы использовали ярлыки, которые нанесли на видео, параллельно с подачей беспроводного сигнала, чтобы тренировать нейросеть», — говорит Катаби.

Теперь же точность работы системы возросла: она моделирует скелетообразные фигуры людей и может показывать базовые движения, такие как ходьба. Система фокусируется на ключевых точках тела человека, например, на локтевых, бедренных и голеностопных суставах. Когда человек делает шаг, вне зависимости от того, находится он прямо перед устройством или за стеной от него, модель повторяет этот шаг в реальном времени. Если объект наблюдения садится — модель также садится.

Исследователи уже начали использовать систему в небольшом исследовании, связанном с людьми, страдающими от болезни Паркинсона. Устанавливая устройства в их дома, ученые могут собирать данные о передвижении пациентов без использования камер, таким образом минимизируя фактор вторжения в личную жизнь. Это исследование длилось 8 недель, в нем участвовало 7 человек.

Интерес к этой технологии существовал давно, говорит Дина Катаби (Dina Katabi), старший разработчик проекта и профессор электронной инженерии и информатики Массачусетского технологического института. «DARPA (управление перспективных исследовательских проектов Министерства Обороны США) уже проводило подобные исследования, но до сих пор такие системы могли получить только расплывчатый силуэт человека за стеной».

Другой эксперимент с очками был проведен авторами из отечественной компании ProductivityInside еще в 2021 году. Автор исследования также брал за основу сеть Face++ и пытался обмануть ее различными методами: закрывал лицо ладонью, маской, а также изображениями других людей. В результате робот «ослеп» только в одном случае: когда автор одновременно надел на себя солнечные очки с широкими линзами и медицинскую маску.

Как это будет использоваться?

Таким образом, обычные очки перестали быть препятствием для высоких технологий. Если ваша цель – остаться невидимым для камер, то придется сильно потрудиться и привлечь к себе внимание обычных людей, вместо роботов. Ну а если вы с нейросетями хотите дружить и сотрудничать в быту, то очки точно не станут проблемой для вашего взаимодействия.

Радиоволны в сочетании с искусственным интеллектом позволяют видеть скелетообразные модели людей, движущихся за стеной от наблюдателя. Технология, которая должна полюбиться бойцам спецназа, уже нашла неожиданное применение. Ее используют для мониторинга активности людей с синдромом Паркинсона.

Однако разработчики столкнулись с проблемой. «Невозможно взять радиосигнал и отметить на нём голову, суставы и так далее», — говорит Катаби. Другими словами, нанести ярлык на изображение куда проще, чем нанести ярлык на информацию о радиоволнах, отраженных от человека.

Однако фокус проходил не всегда – успех сокрытия личности сильно зависит от ракурса и условий освещенности окружения. Сейчас очки со встроенными свеодиодами эволюционировали и превратились в киберпанковские полушлемы, которые более эффективно затрудняют считывание личности.

Результаты исследования в высокой степени совпали с данными из опросников, которые заполняли участвующие в эксперименте люди. Также исследователи смогли получить дополнительную информацию о качестве жизни людей с этим синдромом, их поведении и функциональном состоянии.

Однако при изменении кода сети и «тренировки» ее на 10 добровольцах, программа успешно справлялась с распознаванием большинства испытуемых. Так что такой обман – только вопрос правильного процесса обучения робота и задача для следующего цикла его развития.