Содержание статьи
Тень независимости: ИИ сможет самообучаться на текстах без помощи человека
Есть ли опасность
— С помощью большой языковой модели можно добиться высокого качества обработки информации. Однако для этого потребовалось создать многоступенчатую иерархическую схему для разметки. В таком случае в процессе обучения эксперты требуются только для этой работы, — сказала исследователь и аналитик лаборатории Мария Молчанова. При разработке автоматизированной системы специалисты с помощью ChatGPT попробовали сымитировать человеческую разметку лингвистических данных для обучения моделей. Для составления системы привлекли опытных экспертов — лингвистов, которые разработали схемы аннотаций. В результате эти инструкции улучшили качество обработки сообщений.
В теории — да. Но на практике мы сталкиваемся с большим количеством проблем, начиная от недостаточного количества данных для обучения, заканчивая невозможностью интерпретировать действия человека при решении такой же задачи. Получается, что невозможно построить алгоритм, который эти действия бы совершал. Хороший пример — автопилотируемый автомобиль. Научить машину держать полосу, входить в повороты и автоматически перестраивать маршрут, если на дороге ремонт, сравнительно несложно, потому что есть понимание, как вел бы себя человек (а значит, как должна вести себя машина) в таких ситуациях.
С математической точки зрения нейросеть — это функция с большим количеством параметров. Штрафование этой функции за неверное определения лица — это когда мы, упрощенно говоря, корректируем работу функции таким образом, чтобы в будущем она меньше ошибалась. Соответственно, поощрение нейросети — это когда мы ее просто не штрафуем.
— Мы изучили разметку дискурса в диалогах экспертов и больших языковых моделей. Пришли к выводу, что c помощью последней можно добиться качества обработки информации, сравнимого с краудсорсерами. Преимущества автоматизированного подхода в том, что это намного быстрее и дешевле. К тому же модель размечает данные более системно, — сказала Мария Молчанова. Разработанная методология разметки может широко применяться для аннотации лингвистических данных. Ее успешно апробировали для обработки диалогов для обучения чат-ботов в рамках научных исследований лаборатории.
Умные дома, самоуправляемые автомобили, роботы-помощники… Нас окружают инновационные технологии, в основе которых лежат алгоритмы, по своей специфике напоминающие работу человеческого мозга. Их называют по-разному: алгоритмы с использованием машинного обучения, глубокого обучения, а иногда и вовсе искусственный интеллект (ИИ).
Как работает нейросеть? В качестве примера можно рассмотреть процесс обучения нейросети распознаванию лиц. Чтобы корректно обучить любую нейросеть, нужно сделать две вещи: собрать достаточное количество данных и определить, за что мы будем ее штрафовать. Применительно к этой задаче необходимо собрать несколько десятков фотографий лиц для каждого из людей, которых надо определить, и штрафовать нейросеть за то, что предсказанный ею человек не совпадает с человеком на фотографии.
А что насчет глубокого обучения? Чем оно отличается от машинного?
Искусственный интеллект — это название не какого-то отдельного алгоритма, но скорее группы методов, которыми пользуются для решения различного рода задач. Алгоритмы, которые используют подходы с обучением, являются лишь одной из подгрупп всего того множества алгоритмов, что принято называть искусственным интеллектом.
Если большие языковые модели успешно справляются с довольно сложными логическими конструкциями, их применение для разметки и аннотирования текстовой информации кажется совершенно естественным, считает ведущий эксперт Центра компетенций Национальной технологической инициативы (НТИ) «Искусственный интеллект» на базе МФТИ Александр Родин. — Широкое внедрение самообучения языковых моделей может упростить манипуляции с результатами их работы и создание фейков, как это происходит, например, на YouTube или в соцсетях. Если массовый пользователь не обладает достаточным культурным и образовательным базисом, его нетрудно будет убедить в том, что черное — это белое, апеллируя к «железобетонному» аргументу — «так искусственный интеллект решил», — сказал Александр Родин.
Специалисты лаборатории нейронных систем и глубокого обучения, входящей в состав исследовательского центра прикладных систем искусственного интеллекта МФТИ, разработали методику, которая позволяет нейросетям самостоятельно готовить текстовые данные для обучения искусственного интеллекта. Теперь это автоматически смогут делать большие языковые модели, самая знаменитая из которых — ChatGPT. Обязательную предварительную работу называют разметкой, до последнего времени ее могли делать только люди — аннотаторы либо специально подобранные краудсорсеры (сотрудники из внешней команды, которые улучшает работу ИИ). Они тщательно разбирают большое количество примеров, из которых машина выделяет закономерности. Информация должна быть правильно подготовлена, чтобы ИИ мог сделать верные выводы. Однако это трудоемкая задача, требующая выполнения множества монотонных операций. В итоге на нее может уходить до нескольких месяцев. Благодаря использованию ИИ этот процесс будет проходить в три раза быстрее и в два раза дешевле, чем раньше. Правда, полностью стать независимыми от людей машинам пока не удастся — им понадобится помощь с построением иерархии.
Как машинное обучение является подвидом искусственного интеллекта, так и глубокое обучение является подвидом машинного (см. картинку в начале статьи). В глубоком обучении используются те же подходы: алгоритму дают много данных и «ругают» его за ошибки. Разница здесь в том, что сами алгоритмы глубокого обучения устроены гораздо сложнее и часто используют более серьезные математические модели. Сейчас под алгоритмами глубокого обучения практически всегда подразумевают нейронные сети.
Однако научить автомобиль принимать решения в чрезвычайных ситуациях гораздо сложнее: проблема в том, что и самому человеку трудно понять, как именно надо поступать в том или ином экстренном случае. Поэтому человек не может показать алгоритмам примеры хорошего и плохого поведения для таких случаев.
Процесс обучения алгоритма во многом напоминает процесс обучения человека. Как мы совершаем ошибки и учимся на них (например, что не стоит засовывать руку в кипящую воду), так и алгоритмы, использующие машинное обучение, совершают ошибки, за что получают штраф.