Распознавание объектов на фото и видео

Защитите свою конфиденциальность

Для обратного поиска изображений необходимо загрузить фотографию в поисковую систему или сделать снимок с камеры (он автоматически добавляется в строку поиска). Обычно вы загружаете изображение в строку поиска или в какое-то специальное место на странице. При выполнении обратного поиска изображений обратите внимание на технические требования, которым должно соответствовать ваше изображение. Обычно они связаны с размером изображения, качеством и форматом файла, но иногда также с композицией фотографии или изображенными предметами. Загруженная фотография используется для поиска. Его измеряют и анализируют с целью найти похожие изображения или картинки со схожими объектами. Лучшие результаты обратного поиска дают изображения высокого качества. Механизм обратного поиска изображений можно использовать на мобильных телефонах или любом другом устройстве.

Обратный поиск изображений — это техника, которая позволяет находить вещи, людей, бренды и т.д. по фотографии. При выполнении обычного поиска вы вводите слово или фразу, которая связана с информацией, которую вы пытаетесь найти; Но, когда вы выполняете обратный поиск изображений, вы загружаете изображение в поисковую систему. В результатах регулярных поисков вы получаете список сайтов, которые связаны с этими фразами. Когда вы выполняете обратный поиск изображений, в результатах вы получаете фотографии похожих вещей, людей и т.д., Обратный поиск по изображению — лучшее решение для поиска похожих изображений, их уменьшенных/больших версий или двойника контента. Самой известной системой обратного поиска изображений является Google Images.

Перед тем как что-то распознать, это что-то нужно найти на изображении или видео. Для этого используется нейросеть-детектор. Представьте себе сцену из фильма: кроме героев, на экране показаны предметы мебели, здания. Чтобы понять, что конкретно мы видим на изображении, нужен детектор, который разбивает общую картину на отдельные образы.

Здесь мы говорим только про видео, когда система должна находить объекты на меняющихся кадрах. Отслеживание нужно, чтобы не приходилось распознавать объект снова и снова: это экономит много ресурсов программы по распознаванию. Решение позволяет «помнить», что перед нами всё ещё тот же самый предмет.

PimEyes использует механизм обратного поиска изображений и дополняет его технологией распознавания лиц, чтобы вы могли найти свое лицо в Интернете (но только в открытой сети, исключая социальные сети и видеоплатформы). Как и при обратном поиске изображений, вы выполняете запрос, используя фотографию, и в результатах получаете список проиндексированных фотографий. Но PimEyes – это нечто большее. В результатах мы отображаем не только фотографии, похожие на ту, которую вы загрузили в строку поиска, но и фотографии, на которых вы изображены на другом фоне, с другими людьми или даже с другой прической. Это улучшение возможно благодаря тому, что наша поисковая система фокусируется на конкретном лице, а не на всей картинке. Попробуйте поисковую систему обратного изображения PimEyes и найдите, где в Интернете появляется ваше лицо.

После того как программа нашла объект и начала отслеживание, информация о нём передаётся в нейросеть-энкодер, которая распознаёт изображение и ищет в базе аналоги. Так, в рамках Layer возможно распознавание одежды того же цвета и фасона по товарам от партнеров.

В связи с ограниченностью исходной базы, скорее всего, будут найдены не те же товары, но максимально похожие по цвету, форме и другим признакам. Кроме одежды и мебели, Layer от Сбера может распознавать и искать похожую еду. Как насчёт того, чтобы заказать блюдо, которое ест героиня любимого сериала?

У Сбера есть собственная система распознавания Layer, которая умеет работать с изображениями и видео. Платформа может распознать, например, какая одежда на человеке, и найти похожую в каталоге партнёров. Посмотрим, как это работает и какие возможности даёт программа.

Как работает технология распознавания образов

Дальше нейросети будут искать в своей базе похожие объекты в зависимости от класса. Определить, какой актёр перед нами или что за предмет мебели в кадре, — задачи для разных нейросетей. В рамках Layer используется также база партнерских товаров, по которой система ищет похожие на распознанные на видео, чтобы обогатить стоп-кадр торговым предложением.

Важно упомянуть, что сеть, которая находит похожие образы в базе, работает не с самими изображениями, а с их эмбеддингами. Эмбеддинг — это картинка, преобразованная в ряд чисел по определённому правилу. Сравнивая эти ряды чисел между собой, модель понимает степень похожести изображений — распознаваемого и из базы. Поэтому платье героини сначала превращается в числовой код, и только потом отдаётся в базу данных для поиска аналогичных платьев.

С помощью PimEyes вы можете скрыть существующие фотографии от показа на странице результатов общедоступного поиска. Это действие удалит фотографии только из нашей поисковой системы, мы не несем ответственности за первоисточник фотографии, и она по-прежнему будет доступна в Интернете.