Как определить текст, написанный нейросетью: 6 рабочих инструментов

Giant Language Model Test Room

Результат проверки отображается по трем показателям — предсказуемость, вероятность и шаблонность. В правом окне отображаются фразы, которые предположительно созданы ботом. Желтая, оранжевая и красная заливки говорят о степени вероятности того, что текст написан с помощью инструментов искусственного интеллекта.

Генеративные нейросети, в том числе СhatGPT, склонны формулировать ответы на любые запросы в виде перечней. Люди же, как правило, используют их в своих текстах не так часто. Например, для описания сложных идей формат списка вряд ли уместен. Даже в случае, когда этот формат подходит, большинство студентов нечасто структурируют информацию именно так, по наблюдению Офганга. Поэтому чрезмерное использование списков, по его мнению, может быть признаком того, что текст сгенерирован ИИ.

Текст, написанный человеком, не застрахован от опечаток, пропущенных запятых и нескладных формулировок. В то время как ChatGPT, по наблюдению автора статьи, создаёт очень гладкие тексты, в которых в среднем гораздо меньше ошибок, чем в работах многих студентов.

Сервис создан Джастином Макгиллом — предпринимателем с более чем 15-летним опытом в SEO и контент-маркетинге. Благодаря специальным алгоритмам и обучению на базе миллиардов символов реальных текстов, инструмент может точно спрогнозировать наиболее вероятные варианты слов, которые использует ИИ.

Эрик Офганг преподаёт писательское мастерство, а значит, читает очень много студенческих работ. И по его опыту, если стиль конкретного текста значительно выделяется среди других текстов, которые сдавал учащийся, это может говорить о плагиате или ИИ-генерации. Заметим, что ориентироваться на этот признак можно, только если у часто пишущего человека действительно есть характерные приёмы в тексте и вы хорошо с ними знакомы.

Отличить текст, созданный ChatGPT или другими похожими инструментами, от написанного человеком не так уж просто. Да, хорошее владение темой поможет заметить «галлюцинации» ИИ — фейковые утверждения, которые нейросеть включает в текст, когда ей не хватает информации. Однако ChatGPT может быть очень убедительным, и при проверке письменных работ, будь то сочинение, эссе, курсовая или диплом, нельзя бы на 100% уверенным, что учащиеся написали их сами.

Текст существенно длиннее, чем предполагает задание

За помощью можно обратиться к специальным инструментам — ИИ-детекторам. Такая функция появилась у «Антиплагиата», подобный сервис разработала и OpenAI — компания, создавшая сам ChatGPT. Однако разработчики предупреждают, что эти инструменты несовершенны — они не всегда распознают сгенерированные тексты и, наоборот, иногда принимают за продукт генерации искусственным интеллектом текст, написанный человеком.

Для проверки текста на искусственный интеллект используется комбинация алгоритмов машинного обучения и методов обработки естественного языка. Инструмент обучен изучать шаблоны и характеристики разных форм письма и может легко их обнаружить. В процентном соотношении показывает вероятность того, что текст сгенерирован нейросетью.

В такой ситуации Эрик Офганг нередко обращается за вторым мнением к коллеге-преподавателю. Если с его подозрениями соглашаются, сомнительный текст становится поводом для беседы со студентами об этике использования нейросетей в обучении. Автор статьи подчёркивает, что это именно беседа, а не обвинения. Тем более что доказать, что текст сгенерирован, практически невозможно.

Журналист и преподаватель курса по писательскому мастерству Западного университета штата Коннектикут Эрик Офганг тоже столкнулся с этой проблемой при проверке студенческих работ. В статье для сайта Tech & Learning он поделился признаками, по которым он обычно отличает сгенерированные тексты от написанных человеком. Но при этом предостерегает учителей и преподавателей от обвинений учащихся в использовании ИИ, предлагая принимать подобные случаи как повод для разговора об уместном и этичном применении нейросетей.

Искусственный интеллект ежедневно достигает новых высот. Способности AI действительно поражают. Chat GPT и его аналоги захватили интернет — с их помощью пишут не только статьи, тексты для рекламы и поздравительных открыток, но и дипломные и курсовые работы. При этом довольно успешные.

Удобен тем, что можно не только добавить текст, но и указать ссылку на него. Инструмент считывает контент со страницы сайта и выдает результат вероятности написания текста человеком или нейронной сетью. В бесплатной версии можно проверить до 1500 символов.

Но это лишь одна сторона медали. Кроме удобства и экономии ресурсов, технологии создают немало проблем. Вызывают недовольство авторов, чьи материалы алгоритмы используют в качестве источников. Подрывают доверие к студентам, копирайтерам, агентствам: появляются сомнения, что тексты писал человек.

В Контентим руководит отделом мультиязычного контента и умеет в условиях жестких дедлайнов собирать и обучать редакции на любых языках. Разрабатывает образовательные продукты для Контентим Education: запустила марафон по ChatGPT и дала буст в профессии более 1000 райтерам.