Как отличить фото людей, которые сгенерировала нейросеть

Что такое StyleGAN и какие сервисы генерируют изображения

Ошибки и артефакты. У StyleGAN есть несколько мест, где нейросеть обычно ошибается. Например, это аксессуары: ИИ любит генерировать людей в очках и серьгах, но нередко на них проявляются артефакты, которые выглядят как характерные разноцветные кляксы.

Камеры видеонаблюдения на улицах тоже не отслеживают перемещения каждого человека. Это запрещено законом и невозможно реализовать технически. Чаще всего их задача – поиск разыскиваемых преступников. Когда вы попадаете в объектив камеры, ваше лицо поступает в нейросеть и превращается в набор точек-ориентиров. Дальше компьютер сравнивает эти ориентиры с базой данных лиц преступников. Если совпадения нет, результат работы нейросети стирается из памяти компьютера. Фотографии преступников попадают в базу при предыдущем задержании или в ходе расследования уголовного дела.

Когда мы на что-то смотрим, изображение попадает к нам на сетчатку глаза. В ней находятся клетки, которые способны распознавать разные цвета и яркость света – палочки и колбочки. Они работают почти так же, как и камеры видеонаблюдения, но превращают изображение не в набор чисел, а в электрические импульсы. На этом работа глаза заканчивается. Как и видеокамеры, клетки сетчатки сами по себе не умеют понимать, что находится на изображении. Для этого камере нужен компьютер, а глазам – мозг.

Точно так же работают сверточные нейросети, состоящие из большого количества искусственных «нейронов». Каждый такой нейрон – это просто таблица с числами. Они располагаются слоями, как и в нашей сетчатке. Первый слой получает информацию от изображения с видеокамеры или из памяти компьютера. Он узнает простые структуры – обычно это контуры, линии, углы, окружности. Второй слой «собирает» структуры посложнее из отдельных элементов, которые увидели в изображении первые нейроны. Третий слой получает информацию от второго и так далее. Современные сверточные нейросети очень глубокие, и в них очень много слоев. Самые последние нейроны выдают ответ на решаемую задачу. Он может быть разным в зависимости от того, для чего создавалась нейросеть. В задаче распознавания лиц это обычно координаты ориентиров лица – набор точек, которые окружают важные части лица: его контур, глаза, губы. По ним можно однозначно узнать человека.

Сейчас системы распознавания лиц, генерации несуществующих лиц, подмены лиц на видео развиты очень хорошо. Вместе с этим развиваются алгоритмы генерации макияжа, препятствующего распознаванию и алгоритмов выявления подделок. Эта конкуренция «средств нападения и защиты» безусловно стимулирует развитие соответствующих инструментов. Как мне кажется, большие принципиальные нововведения ожидаются в правовом поле (как юридически урегулировать распознавание лиц) и в применении этих методов в новых областях, причем не только касательно человеческих лиц, но и, например, в исследованиях поведения животных.

Ученые и компании не могут просто сфотографировать вас и использовать это фото для обучения нейросети. Ваше лицо – это ваши персональные данные, а они защищены законом. Чтобы использовать ваши фотографии, компании или ученые должны получить ваше согласие. Вы каждый раз подписываете его, покупая телефон с разблокировкой по лицу или разрешая банкомату узнавать вас по биометрическим данным.

Как отличить фото, сгенерированные StyleGAN

Собрать большой набор данных и отметить на нем лица – тоже гигантская работа. Но она того стоит. Точность работы нейросетей поражает. Исследования группы ученых из нескольких университетов США и Австралии в 2018 году показали, что после обучения нейросети допускают даже меньше ошибок, чем люди. При этом качество работы человека с течением рабочего дня падает – ведь никто не сможет целый день вручную отмечать на фотографиях ориентиры лиц. Нейросети же могут работать без остановки и обрабатывать за секунду сотни изображений.

Системы распознавания лиц используют многие крупные компании – Amazon, Apple, Google, «Сбербанк», «Ростелеком» и другие. Но простота использования технологии позволяет применять ее даже совсем небольшим компаниям. Нейросеть можно написать в десяток строчек кода – это меньше, чем требуется для многих других программ. Есть даже технологии, позволяющие вообще не писать код. Нужно только предоставить обучающие данные, и нейросеть обучится сама, в один клик мышкой. Самые большие проблемы с внедрением таких систем – не в сложности технологии, а в законодательных ограничениях.

Помимо поиска преступников, нейросети позволяют решать множество задач, делающих жизнь людей лучше. Например, можно проходить проверки в аэропорту, не контактируя с людьми, а просто смотря в камеру. В Великобритании есть бары, где компьютер по фото определяет, достаточный ли у человека возраст для покупки алкоголя. А в США разрабатываются системы безопасности для умного дома. Они позволят попадать в свою квартиру без ключей – просто посмотрев в камеру. Если в дом попытается проникнуть чужой человек, такая система вызовет полицию.

Но данные – это самая драгоценная часть любой системы распознавания лиц. Собрать подходящий набор обучающих примеров – самая трудная часть. Кроме того, утечка персональных данных людей нанесет огромный удар по репутации компании. Поэтому, если ваши фотографии попадают в чьи-то базы данных, они тщательно охраняются. Вся информация хранится в зашифрованном виде, просто так украсть ее не получится. В этом также сильно помогают нейросети. Их недостаток – неинтерпретируемость – здесь обращается в преимущество. Ведь вместо исходной фотографии человека можно хранить то, как видит ее нейросеть, – в виде матрицы. Из этого набора чисел невозможно получить исходное изображение. Даже если кто-то его украдет, злоумышленник ничего не сможет с ним сделать. Снова понять, что означают эти числа, сможет только та же самая нейросеть.

Национальный институт стандартов и технологий применил цифровые маски к фотографиям и протестировал алгоритмы распознавания лиц, разработанные до пандемии COVID-19. Поскольку маски в реальном мире различаются, команда придумала варианты разных форм и цветов. Фото: B. Hayes/NIST, nist.gov

В последние десятилетия нейросети пережили второй всплеск популярности (первый был во времена их появления). Интерес к ним заслуженный, ибо они справились с некоторыми важными задачами, решение которых до этого считалось невозможным (генерация и распознавание речи, игра в Го на уровне человека, распознавание эмоций, сегментация изображений). Однако нейросети – это лишь один из инструментов для решения задач, и его возможности не безграничны. Прежде всего, в массе случаев нейросети хоть и применимы, но крайне неэффективны. Например, если вам надо выстрелить из пушки и попасть в цель, то, зная законы баллистики, расстояние до цели и некоторые параметры пушки, вы можете сразу навестись и попасть. Чтоб эту задачу решила нейросеть, сперва ее нужно обучить, сделав несколько тысяч выстрелов с разными параметрами, причем если новая мишень будет находиться совсем не там, куда вы попадали и при обучении нейросети, то в нее вы уже не попадете.