Содержание статьи
Как нейросети работают с текстами
Нейросеть как инструмент
Для предсказания важен контекст, поэтому модель учится понимать, как слова в предложении связаны между собой и какие из них чаще встречаются вместе. На основе анализа и контекста модель предсказывает, какое слово или фразу логично было бы использовать дальше. За это отвечает декодер.
Вообще, вполне может быть, что модели станут полноправными акторами и нашими партнерами: сейчас мы помогаем этим сущностям работать, но мы на самом деле не знаем, что происходит у них внутри. Уже сейчас в исследовательской индустрии получили мощное развитие синтетические респонденты, потом будут синтетические исследователи, затем потребители будут виртуализироваться, и так возникнет параллельный виртуальный мир.
В Институте искусственного интеллекта МГУ под руководством Константина Воронцова работает проект «Мастерская знаний», где на основе нейросети SciRus-tiny создается поисково-рекомендательная система, призванная облегчить работу с результатами поисковой выдачи по научным текстам. С ее помощью можно создавать тематические подборки, структурировать и ранжировать информацию, а также получать сообщения о новых публикациях по выбранной теме. Тестирование этой системы началось в 2024 году; нейросеть и набор тестовых задач находятся в открытом доступе.
Но тексты, сгенерированные с помощью ИИ, нуждаются в тщательной проверке. Ученые пока не смогли справиться с феноменом галлюцинаций нейросетей. Поэтому для пользователей важна верификация информации, а для специалистов — качество массива текстов, на которых проводится обучение ИИ.
Затем модель создаёт следующий фрагмент текста, который она считает наиболее верным в контексте. Именно эту фразу пользователь увидит у себя на клавиатуре смартфона в строке подсказок. Процесс повторяется множество раз, чтобы сгенерировать полный текст или ответ на вопрос, если нейросеть встроена не в клавиатуру, а чат-помощник.
Принципы работы языковой модели зависят от её типа. До того как разработчики стали использовать нейросети, в ходу были более простые статистические алгоритмы. Языковые модели на их основе называют классическими. Простейшая модель такого рода, например, выдаёт одно и то же слово вне зависимости от того, что получает на входе. Более сложные учитывают вероятности. Например, могут подсчитать, что после «привет» люди часто пишут «как дела», а после «хлеб» — «белый». В качестве предсказания модель может предложить самое частотное слово или слово, которое встречается с определённой вероятностью. Логика работы зависит от того, какая стратегия предсказания заложена в модель.
Писать промпты и интерпретировать собранные данные
Нейросети уже неплохо справляются с анализом и порождением текстов, они умеют многое из того, что раньше делали только люди. Какие возможности это дает? Участники круглого стола «Ай да AI. Нейросети и создание текстов: проблемы и перспективы генеративных моделей» обсудили, чем ИИ может помочь в научной работе и какие навыки понадобятся людям в цифровую эпоху. Грамота записала самое главное.
Мария Лебедева привела пример таких рисков. Специалисты Грамоты попросили нейросеть ответить на вопросы о русском языке, которые поступают в справочную службу. Выяснилось, что нейросеть в большинстве случаев ошибалась, придумывая свои правила русского языка или ссылаясь на нерелевантные.
Принципы работы языковой модели зависят от её типа. До того как разработчики стали использовать нейросети, в ходу были более простые статистические алгоритмы. Языковые модели на их основе называют классическими. Простейшая модель такого рода, например, выдаёт одно и то же слово вне зависимости от того, что получает на входе. Более сложные учитывают вероятности. Например, могут подсчитать, что после «привет» люди часто пишут «как дела», а после «хлеб» — «белый». В качестве предсказания модель может предложить самое частотное слово или слово, которое встречается с определённой вероятностью. Логика работы зависит от того, какая стратегия предсказания заложена в модель.
А вот материалы в интернете, посвященные искусственному интеллекту и нейросетям, чат BrandGPT анализирует вполне успешно, считает Василий Черный. Компания BransAnalitics разрабатывает системы анализа социальных медиа и классических СМИ, в том числе отслеживает тенденции в области ИИ. Например, анализ показывает, что количество контента, посвященного ИИ и нейросетям, за год выросло в два раза, а интерес к конкретным нейросетям, генерирующим изображения, сегодня выше, чем к генераторам текста.
Владимир рассказывает: «Дальнейший процесс зависит от того, какую задачу мы хотим решить: если нейросеть анализирует предложение и должна выдать предложение, то языковая модель обновляет контекст новыми сгенерированными словами и снова предсказывает слово».
Если модель смотрит на один последний токен, это униграммная модель: она предсказывает следующее слово по последнему во фразе. Биграммные модели смотрят на два слова назад. Но технически количество слов, которые будут учитываться в предсказании, не ограничено. Поэтому модели могут быть n-граммными, где n — любое число. В сравнении с другими модели такого типа быстро работают и мало весят, особенно если значение n небольшое, а токен — буква или часть слова. Поэтому n-граммные модели активно используют в клавиатурах, чтобы персонализировать подсказки.
Создание массовой развлекательной литературы может быть отдано ИИ, но место для писателя-человека в литературе безусловно останется. «Мне интересно, когда живой человек делится со мной своим жизненным опытом, мыслями о мире и так далее. Ради этого я читаю художественную литературу», — заметил Константин Воронцов.
Для предсказания важен контекст, поэтому модель учится понимать, как слова в предложении связаны между собой и какие из них чаще встречаются вместе. На основе анализа и контекста модель предсказывает, какое слово или фразу логично было бы использовать дальше. За это отвечает декодер.
