Как ИИ распознаёт рукописный текст

Круто! Азасчёт чего искусственный интеллект распознаёт рукописный текст? Какие шаги ему нужно пройти для этого? Круто! А за счёт чего искусственный интеллект распознаёт рукописный текст? Какие шаги ему нужно пройти для этого?

С помощью технологий распознавания рукописного текста, например, оцифровывают конспекты или архивные документы. Хочется, чтобы можно было их сфотографировать и получить готовый текст на устройстве. Так с ним будет удобнее работать: вместо того чтобы листать выцветшие страницы, можно просто нажать Ctrl + F и быстро найти нужную информацию. А если самостоятельно перепечатывать рукописный текст, на это уйдёт много времени. К тому же в архивных документах не всегда можно разобрать, что написано, потому что там устаревшие нормы языка. И чтобы такой текст был доступен и понятен каждому, как раз и нужно развивать распознавание рукописного текста.

Привычная для ML-инженера проблема — сложно чего-то ожидать от нейронки. Ты думаешь: «Сейчас досыплю новых данных, обучу — и метрика должна стать лучше, потому что нейронная сеть увидела ещё больше текста и стала умнее». Но становится только хуже, и приходится разбираться, что случилось.

Никаких ограничений для пользователей Content at Scale нет, вы можете проверять бесплатно много разных текстов за один день практически без ограничений по количеству символов. Сама модель детекта тоже работает довольно быстро, поэтому весь процесс не займет много времени.

Сайт Text.ru позиционируется как биржа копирайтинга и имеет свой антиплагиат. С недавнего времени разработчики предлагают юзерам на платной основе доступ к рерайтеру текста на базе ИИ и детектору, который распознает такой написанный ботом текст. Это главный минус сайта, поскольку бесплатно нельзя проверить и несколько сотен символов, чтобы протестировать работу инструмента.

Выбор архитектуры. Здесь я читаю статьи, изучаю, какие решения существуют. Этот этап ресёрча съедает много времени, но он критически важный. Неправильно подобранная архитектура или какая-то не учтённая на старте деталь могут вылиться в большую головную боль. Придётся потратить много времени на исправление того, что не учёл в самом начале.

С появлением нейронных сетей для генерирования текстов логично было ожидать, что вместе с ними появятся и сервисы, играющие роль детекторов. Существует множество полезных инструментов, анализирующих содержимое и определяющее вероятность, с которой текст мог быть создан ИИ. Есть разные критерии оценки, и каждый инструмент использует свой подход для качественного анализа. Поэтому отличным вариантом будет один и тот же фрагмент прогнать через несколько сайтов, чтобы получить объективный результат.

AI Text Classifier

Онлайн-сервис GPTZero предоставляет стандартную функциональность для определения текста, написанного ИИ, а также помимо обычной вставки фрагментов поддерживает загрузку и анализ файлов, если символы превышают допустимое количество для вставки в форму проверки. Поддерживает модели нейронных сетей GPT3, GPT4, BARD и многие другие, которые сейчас пользуются популярностью. Давайте с вами на простом примере разберем процесс взаимодействия с данным веб-ресурсом.

Журнал и подкасты Яндекс Образования. В своё время очень много их читал и слушал — и делаю это до сих пор. Материалы оттуда помогают расширять кругозор: можно найти статьи и на технические темы, и о том, например, как научиться печатать вслепую и зачем нужно вести свой телеграм-канал.

Что сигнализирует о том, что надо улучшать нейронку? Плохие метрики. Другой важный показатель — выход новых зарубежных статей. Каждый участник нашей команды мониторит разные источники, я обычно слежу за порталом Papers With Code. Мы все изучаем, что происходит в мире компьютерного зрения и распознавания символов.

ШАД Яндекса. Это одно из лучших мест в стране для погружения в анализ данных. Туда нелегко поступить, но там сконцентрированы самые актуальные знания. Статья, которая вышла вчера, сегодня уже у тебя в домашке. Преподаватели очень сильные и сами работают в сфере. Например, команда Алисы рассказывает тебе, как обрабатывать звук, а команда управления беспилотниками — как работать с LiDAR-технологиями. У ШАДа есть хендбук по машинному обучению: если пока нет времени на то, чтобы учиться на программе, можно погружаться в своём темпе.

Мультимодальные модели. Например, новый сервис Яндекса «Нейро»: ты можешь отправить картинку и попросить определить, что на ней изображено, или посчитать объекты. Здесь идёт обработка твоего сообщения и картинки. Разные модальности могут улучшать друг друга, а такие нейронные сети становятся больше похожими на людей. Мы общаемся, слышим, видим — и хочется, чтобы нейронная сеть тоже умела работать с разными типами данных.

Книга Тарика Рашида «Создаём нейронные сети». Это была моя первая книга по нейронным сетям, и идеи, которые в ней изложены, зажгли во мне интерес к такого рода алгоритмам. Книга очень простая и с картинками. Подойдёт тем, кто только пытается войти в эту область.

Текст, в том числе рукописный, может быть изогнутым, перевёрнутым, напечатанным по кругу банки колы или написанным с орфографическими ошибками. Нейронная сеть обучалась на данных с правильным написанием. Если она встретит слово с перечёркиванием или кляксой, попытается ли она его исправить? А нужно ли нам вообще уметь исправлять такие кейсы? Всё зависит от решаемой задачи и от того, кому модель предназначается. Это в меру интересно и в меру сложно.

Улучшать качество распознавания рукописного текста важно, потому что пока оно не такое высокое, как у печатного текста. В печатном есть требования, которые соблюдает устройство, печатая буквы определённым и, главное, читаемым образом. А в рукописных текстах такой определённости нет. Даже один и тот же человек в разных словах одну и ту же букву может написать по-разному. У кого-то почерк более понятный, у кого-то — менее, кто-то пишет ручкой с жирными чернилами, и текст получается смазанным. Вариативность данных очень большая, поэтому рукописный текст — это сложный домен и его нужно улучшать.