Искусственный интеллект распознает изображения хуже человека

«Хорошо», — сказали ученые и усложнили задачу еще больше. Теперь в распоряжении искусственного интеллекта были только изображения лиц. Области, которые интересовали на этом этапе машину — это определенный участок волос, направление взгляда (по каким-то причинам, большинство людей на портретных фотографиях смотрят влево) и. бороды. «Мы понятия не имеем, какую информацию алгоритм черпает из изображения бороды, — сказал Снейвли, — Возможно, способ расчесывания и бритья каким-то образом выдает в человеке правшу».

Человеческий глаз постоянно непроизвольно движется, а светочувствительная поверхность его сетчатки имеет форму полусферы. Чтобы человек увидел иллюзию, изображению достаточно быть векторным — состоять из опорных точек и соединяющих их кривых. Человеческое воображение достроит картинку благодаря физиологической особенности зрения — постоянному движению глаз.

Например, дополнить распознавание растровых изображений, представляющих собой сетку пикселей, имитацией физиологических особенностей движения глаз, которые позволяют глазу видеть двумерные и трехмерные сцены. Альтернативный способ — добавить векторное описание изображений. Оно позволит запрограммировать машину на обход изображения по траекториям, заданным векторами.

У компьютерного зрения нет тех физиологических особенностей, которые есть у человека, поэтому оно хуже распознает изображения. К такому выводу пришли ученые из ВШЭ и Московского политехнического университета. Результаты исследования опубликованы в сборнике Proceedings of Seventh International Congress on Information and Communication Technology.

Чтобы понять, как машинное восприятие изображений отличается от человеческого, российские ученые загрузили изображения классических визуальных иллюзий в онлайн-сервис распознавания образов IBM Watson Visual Recognition. Большая часть из них представляла собой геометрические силуэты, частично скрытые геометрическими формами цвета заднего плана. Система пыталась определить, что представляет собой поступившее изображение, и указывала степень уверенности в своем ответе.

Нейросетевые системы распознавания образов сегодня активно распространяются в коммерческом секторе. Однако вопрос, насколько точно машина распознает изображение, до сих остается открытым. От точности его распознавания могут зависеть человеческие жизни. Например, если автопилот автомобиля или самолета не распознает объект с низкой контрастностью относительно фона и не успеет вовремя уклониться от препятствия, может произойти катастрофа.

Машины удивили ученых. Точность, с которой искусственный интеллект распознает отраженные изображения, составила от 60 до 90%. Чтобы обнаружить признаки, по которым машинный алгоритм отличает «перевертыш» от оригинала, группа ученых под руководством Ноя Снейвли, доцента кафедры компьютерных наук в Корнельском университете, создала тепловую карту. Карта отображала области, которые казались «подозрительными» искусственному интеллекту. Некоторые признаки зеркальных изображений были очевидны, другие же оказались настолько неожиданными, что их с трудом различали люди.

Компьютерная обработка изображений — нетривиальная задача для искусственного интеллекта. Поэтому на этапе машинного обучения, когда электронный «разум» ищет общие черты у объектов на снимках и заполняет свою базу данных, требуется огромное количество изображений. Чтобы сократить время поиска «тренировочных» картинок, исследователи часто хитрят: зеркально отражают часть изображений, увеличивая их число вдвое.

В оптико-электронных системах все устроено иначе. Их светочувствительная матрица имеет плоскую, как правило прямоугольную, форму, а сама система линз далеко не так свободна в движении, как человеческий глаз. Поэтому искусственный интеллект не может достроить воображаемые линии, которые связывают фрагменты геометрической иллюзии. Машинное зрение видит только то, что реально изображено, тогда как человек достраивает в воображении полное изображение по его очертаниям.

Самой легкой подсказкой был текст. Искусственный интеллект мгновенно определял зеркальные изображения по перевернутым буквам. Тогда исследователи исключили такие снимки из эксперимента. В числе других признаков оказались наручные часы, пуговицы на рубашках, которые, как правило, с левой стороны, телефоны — большинство людей держат девайсы в правой руке, а также другие привычки правшей.

Как же искусственный интеллект реагирует на подобную «аферу»? Понимает ли машина, что перед ней не «Друг», а «Гурд»? Исследователи из Корнельского университета всерьез заинтересовались этими вопросами, ведь Вселенная не симметрична. То, как мы смотрим на нее, имеет значение. Доклад ученых, в котором они назвали довольно необычные способы разоблачения зеркальных изображений искусственным интеллектом, был недавно представлен на престижной конференции по компьютерному зрению.

«Объекты, похожие на те, что мы использовали в ходе эксперимента, встречаются в реальной жизни, — комментирует автор исследования Владимир Винников, аналитик Научно-учебной лаборатории методов анализа больших данных факультета компьютерных наук ВШЭ. — Например, прицеп трейлера или радиобашня, которые по ночам обозначаются только габаритными огнями, автопилот автомобиля или самолета воспринимает таким же образом, как мы — воображаемые геометрические фигуры».

«Воображаемые фигуры обязательно стоит использовать в качестве тестов в системах, которые зависят от распознавания фото- и видеопотоков. Например, в автопилотах машин или беспилотных летательных аппаратов. Это поможет избежать рисков, связанных с использованием систем машинного интеллекта в промышленности и транспортных системах», — полагает Владимир Винников.

Каждый из используемых машиной признаков не выглядит достаточно убедительным в отдельности. Однако ученые убеждены, что в совокупности ряд ключей для анализа вполне надежен. В любом случае, изучение реакции искусственного интеллекта на зеркально отраженные снимки имеет важное значение. Оно поможет выявить погрешности на этапе машинного обучения, а также пригодится для идентификации фальшивых снимков, которыми кишит сегодня Интернет. В будущем же подобные алгоритмы могут уберечь высокоорганизованного робота от «драки» с зеркалом, в котором он увидит и распознает отраженного себя.