Как нейросети «видят» человека в очках

Как это работает

Однако разработчики столкнулись с проблемой. «Невозможно взять радиосигнал и отметить на нём голову, суставы и так далее», — говорит Катаби. Другими словами, нанести ярлык на изображение куда проще, чем нанести ярлык на информацию о радиоволнах, отраженных от человека.

Радиоволны в сочетании с искусственным интеллектом позволяют видеть скелетообразные модели людей, движущихся за стеной от наблюдателя. Технология, которая должна полюбиться бойцам спецназа, уже нашла неожиданное применение. Ее используют для мониторинга активности людей с синдромом Паркинсона.

Результаты исследования в высокой степени совпали с данными из опросников, которые заполняли участвующие в эксперименте люди. Также исследователи смогли получить дополнительную информацию о качестве жизни людей с этим синдромом, их поведении и функциональном состоянии.

Другой эксперимент с очками был проведен авторами из отечественной компании ProductivityInside еще в 2021 году. Автор исследования также брал за основу сеть Face++ и пытался обмануть ее различными методами: закрывал лицо ладонью, маской, а также изображениями других людей. В результате робот «ослеп» только в одном случае: когда автор одновременно надел на себя солнечные очки с широкими линзами и медицинскую маску.

Для обмана нейросети ученые использовали обычную пластиковую оправу без стекол, на которую была нанесена обычная бумага с печатью, содержащая ритмичный цветной принт. В результате проведенного эксперимента из 143 добровольцев нейросеть не смогла узнать никого из тех, кто носил эти специально подготовленные очки.

Радиосигнал, используемый системой, схож с сигналом Wi-Fi, но обладает значительно меньшей мощностью. Принцип работы связан со спецификой проникающей способности радиоволн: они игнорируют такие объекты как стены или мебель, но отражаются от человеческого тела, состоящего преимущественно из воды. Отраженный сигнал затем возвращается в приемник.

Исследователи уже начали использовать систему в небольшом исследовании, связанном с людьми, страдающими от болезни Паркинсона. Устанавливая устройства в их дома, ученые могут собирать данные о передвижении пациентов без использования камер, таким образом минимизируя фактор вторжения в личную жизнь. Это исследование длилось 8 недель, в нем участвовало 7 человек.

Интерес к этой технологии существовал давно, говорит Дина Катаби (Dina Katabi), старший разработчик проекта и профессор электронной инженерии и информатики Массачусетского технологического института. «DARPA (управление перспективных исследовательских проектов Министерства Обороны США) уже проводило подобные исследования, но до сих пор такие системы могли получить только расплывчатый силуэт человека за стеной».

Как это будет использоваться?

На ранних этапах обучения команда разработчиков решила объединить излучатель радиоволн с камерой, чтобы нейросеть смогла соотнести данные. Стены в этом случае не использовались, ведь системе необходимо было видеть объект наблюдения. «Мы использовали ярлыки, которые нанесли на видео, параллельно с подачей беспроводного сигнала, чтобы тренировать нейросеть», — говорит Катаби.

Результаты эксперимента объясняются тем, что натренированный алгоритм перестает видеть «опорные точки», по которым он производит анализ индивидуальных черт лица. Если и глаза, и контур лица, и его черты остаются одновременно закрытыми, робот перестает распознавать объект на изображении как человеческое лицо – и не считывает его вообще.

Таким образом, обычные очки перестали быть препятствием для высоких технологий. Если ваша цель – остаться невидимым для камер, то придется сильно потрудиться и привлечь к себе внимание обычных людей, вместо роботов. Ну а если вы с нейросетями хотите дружить и сотрудничать в быту, то очки точно не станут проблемой для вашего взаимодействия.

Разработчики ИИ тренируют нейросеть путём «скармливания» ей информации с пояснениями. Таким образом она вырабатывает собственные алгоритмы и совершенствуется в выполнении поставленного задания. Это называется «обучение с учителем». Хотите научить машину с автопилотом различать светофоры? Покажите ей изображения светофоров и уточните, где именно на них он располагается. Нейросети часто используются для разметки изображений, однако им по плечу и куда более серьезные задания, такие как машинный перевод или даже порождение нового текста на основе данной информации.

Системы распознавания лиц со встроенными самообучающимися нейросетями давно стали частью повседневности. Если вам до сих пор кажется, что будущее далеко – вспомните о разблокировке экрана современных смартфонов, которые узнают вас даже с бородой, в маске или в солнечных очках лучше любого шпиона. Помимо этого, такие системы «узнавания» используются для проведения биометрии в банкоматах и отделениях банков, на улицах больших городов давно работает «Витязь», отслеживающий преступников, а на крупных предприятиях сотрудники получают доступ по сканированию радужки глаза.

Теперь же точность работы системы возросла: она моделирует скелетообразные фигуры людей и может показывать базовые движения, такие как ходьба. Система фокусируется на ключевых точках тела человека, например, на локтевых, бедренных и голеностопных суставах. Когда человек делает шаг, вне зависимости от того, находится он прямо перед устройством или за стеной от него, модель повторяет этот шаг в реальном времени. Если объект наблюдения садится — модель также садится.

Однако фокус проходил не всегда – успех сокрытия личности сильно зависит от ракурса и условий освещенности окружения. Сейчас очки со встроенными свеодиодами эволюционировали и превратились в киберпанковские полушлемы, которые более эффективно затрудняют считывание личности.

Однако при изменении кода сети и «тренировки» ее на 10 добровольцах, программа успешно справлялась с распознаванием большинства испытуемых. Так что такой обман – только вопрос правильного процесса обучения робота и задача для следующего цикла его развития.