Нейросеть видит людей сквозь стены

Как это работает

Интерес к этой технологии существовал давно, говорит Дина Катаби (Dina Katabi), старший разработчик проекта и профессор электронной инженерии и информатики Массачусетского технологического института. «DARPA (управление перспективных исследовательских проектов Министерства Обороны США) уже проводило подобные исследования, но до сих пор такие системы могли получить только расплывчатый силуэт человека за стеной».

На ранних этапах обучения команда разработчиков решила объединить излучатель радиоволн с камерой, чтобы нейросеть смогла соотнести данные. Стены в этом случае не использовались, ведь системе необходимо было видеть объект наблюдения. «Мы использовали ярлыки, которые нанесли на видео, параллельно с подачей беспроводного сигнала, чтобы тренировать нейросеть», — говорит Катаби.

Другой эксперимент с очками был проведен авторами из отечественной компании ProductivityInside еще в 2021 году. Автор исследования также брал за основу сеть Face++ и пытался обмануть ее различными методами: закрывал лицо ладонью, маской, а также изображениями других людей. В результате робот «ослеп» только в одном случае: когда автор одновременно надел на себя солнечные очки с широкими линзами и медицинскую маску.

Разработчики ИИ тренируют нейросеть путём «скармливания» ей информации с пояснениями. Таким образом она вырабатывает собственные алгоритмы и совершенствуется в выполнении поставленного задания. Это называется «обучение с учителем». Хотите научить машину с автопилотом различать светофоры? Покажите ей изображения светофоров и уточните, где именно на них он располагается. Нейросети часто используются для разметки изображений, однако им по плечу и куда более серьезные задания, такие как машинный перевод или даже порождение нового текста на основе данной информации.

Сейчас нас интересует только функция «Magic Avatars», которая запускается через кнопку в левом верхнем углу экрана. Разработчики предупреждают, что на некоторых изображениях будут видны искажения — нейросеть Lensa работает хорошо, но не идеально. Приняв этот риск, нужно нажать на кнопку «Попробовать» в нижней части экрана.

Исследователи уже начали использовать систему в небольшом исследовании, связанном с людьми, страдающими от болезни Паркинсона. Устанавливая устройства в их дома, ученые могут собирать данные о передвижении пациентов без использования камер, таким образом минимизируя фактор вторжения в личную жизнь. Это исследование длилось 8 недель, в нем участвовало 7 человек.

Приложение Lensa с нейросетью

Однако фокус проходил не всегда – успех сокрытия личности сильно зависит от ракурса и условий освещенности окружения. Сейчас очки со встроенными свеодиодами эволюционировали и превратились в киберпанковские полушлемы, которые более эффективно затрудняют считывание личности.

После выбора фотографий, необходимо указать свой пол — чтобы результат вас порадовал, рекомендуется выбрать верный, без экспериментов. После этого нужно выбрать, сколько вариантов аватарок вы хотите получить: 50, 100 или 200. После оплаты, нейросеть начнет рисовать по фотографиям, которые вы загрузили. Процесс может занять более 20 минут, так что надо запастись терпением.

Раньше, чтобы сделать красивую аватарку для социальных сетей, люди обращались за помощью к фотографам и художникам. Сегодня все стало намного проще, потому что существуют нейросети, способные из обычной фотографии сделать произведение искусства. В ноябре 2022 года большую популярность обрела нейросеть Lensa — скачав одноименное приложение на свой смартфон, вы можете загрузить несколько своих фотографий и получить целый набор аватарок в разных стилях. Хотите фото, где вы похожи на стилягу из второй половины 20 века? Или вам интересно узнать, как бы выглядело ваше лицо внутри космического скафандра? Удовлетворить любопытство и сделать красивую аватарку можно прямо сейчас. Просто следуйте нашей инструкции.

Дальнейшую разработку технологии финансирует Фонд Майкла Джей Фокса (Michael J. Fox foundation). Ее использование позволит исключить «синдром белого халата» при наблюдении за пациентами (синдром белого халата — отклонение поведения и/или состояния пациента от нормы во время приёма у врача. – Прим. ред.). Использование системы поднимает вопрос о конфиденциальности, но Катаби уверяет, что технология не будет применяться на людях без их согласия.

Однако разработчики столкнулись с проблемой. «Невозможно взять радиосигнал и отметить на нём голову, суставы и так далее», — говорит Катаби. Другими словами, нанести ярлык на изображение куда проще, чем нанести ярлык на информацию о радиоволнах, отраженных от человека.

Приложение Lensa вышло в начале 2022 года, и с самого начала предназначалось для улучшения фотографий при помощи нейросети. Владельцы смартфонов на Android и iOS получили возможность в пару нажатий ретушировать портреты, размывать или изменять фон, накладывать эффекты и так далее.

Системы распознавания лиц со встроенными самообучающимися нейросетями давно стали частью повседневности. Если вам до сих пор кажется, что будущее далеко – вспомните о разблокировке экрана современных смартфонов, которые узнают вас даже с бородой, в маске или в солнечных очках лучше любого шпиона. Помимо этого, такие системы «узнавания» используются для проведения биометрии в банкоматах и отделениях банков, на улицах больших городов давно работает «Витязь», отслеживающий преступников, а на крупных предприятиях сотрудники получают доступ по сканированию радужки глаза.

Однако при изменении кода сети и «тренировки» ее на 10 добровольцах, программа успешно справлялась с распознаванием большинства испытуемых. Так что такой обман – только вопрос правильного процесса обучения робота и задача для следующего цикла его развития.

Как меня видит нейросеть?

Радиосигнал, используемый системой, схож с сигналом Wi-Fi, но обладает значительно меньшей мощностью. Принцип работы связан со спецификой проникающей способности радиоволн: они игнорируют такие объекты как стены или мебель, но отражаются от человеческого тела, состоящего преимущественно из воды. Отраженный сигнал затем возвращается в приемник.

Результаты исследования в высокой степени совпали с данными из опросников, которые заполняли участвующие в эксперименте люди. Также исследователи смогли получить дополнительную информацию о качестве жизни людей с этим синдромом, их поведении и функциональном состоянии.

Приложение Lensa можно скачать бесплатно. Но функция «Magic Avatars» платная — за наборы аватарок нужно платить. На момент написания статьи, версия для iOS стоит от 279 до 649 рублей. Версия для Android выдала другую цену, от 189 до 429 рублей. Пожалуй, это единственный минус приложения.

Для обмана нейросети ученые использовали обычную пластиковую оправу без стекол, на которую была нанесена обычная бумага с печатью, содержащая ритмичный цветной принт. В результате проведенного эксперимента из 143 добровольцев нейросеть не смогла узнать никого из тех, кто носил эти специально подготовленные очки.

В ноябре в приложении Lensa появилась новая функция «Magic Avatars», которая при помощи нейросети изучает лицо человека и создает пачку из 50-200 аватарок в разных стилях. Давайте узнаем, как нейросеть рисует по фото и что из этого получается — результат впечатляет.

Теперь же точность работы системы возросла: она моделирует скелетообразные фигуры людей и может показывать базовые движения, такие как ходьба. Система фокусируется на ключевых точках тела человека, например, на локтевых, бедренных и голеностопных суставах. Когда человек делает шаг, вне зависимости от того, находится он прямо перед устройством или за стеной от него, модель повторяет этот шаг в реальном времени. Если объект наблюдения садится — модель также садится.