Как проверить текст, написанный нейросетью

Улучшатся ли со временем детекторы?

Выход из положения, который в последнее время обсуждают чаще всего, — так называемые водяные знаки вроде тех, что есть на банкнотах. Например, разработчики могли бы настраивать языковые модели так, чтобы в текстах чаще или реже обычного повторялись те или иные слова. Человек в этом случае, скорее всего, не заметит ничего необычного, а с помощью детектора можно точно сказать, машинный текст или нет.

Онлайн-сервис GPTZero предоставляет стандартную функциональность для определения текста, написанного ИИ, а также помимо обычной вставки фрагментов поддерживает загрузку и анализ файлов, если символы превышают допустимое количество для вставки в форму проверки. Поддерживает модели нейронных сетей GPT3, GPT4, BARD и многие другие, которые сейчас пользуются популярностью. Давайте с вами на простом примере разберем процесс взаимодействия с данным веб-ресурсом.

Для выявления машинных текстов существуют специальные программы и сервисы. Одни бесплатны. Другие доступны за деньги. Третьи созданы в рамках исследований, поэтому не всеми из них удастся воспользоваться (а в остальных случаях, как правило, нужно уметь работать с хранилищами типа GitHub и хотя бы чуть-чуть владеть языками программирования, например Python).

Приложения и сервисы на основе искусственного интеллекта, например чат-бот ChatGPT, поразительно хорошо справляются с заданиями, где нужно что-нибудь написать. Пока эти технологии толком не регулируются — получающиеся тексты не обязательно помечать, поэтому бывает трудно понять, кто их автор. Чтобы разобраться, иногда достаточно просто вчитаться в написанное. Но даже специально разработанные программы, где тоже используется искусственный интеллект, не всегда отличают машину от человека

Говоря про искусственный интеллект применительно к сгенерированным текстам, имеют в виду большие языковые модели. Если сильно упрощать, то модель анализирует написанное людьми и учится прогнозировать, какое слово должно следовать за предшествующими. Из слов складываются предложения, из предложений — абзацы и т.д. Как в точности у машины это получается, не знают даже разработчики , но подход вдохновлен передачей сигналов в нервной системе (поэтому вместо расплывчатого «искусственного интеллекта» используют и более конкретный термин «нейросети»).

По мнению американских исследователей, с текстами более совершенных языковых моделей детекторы станут практически бесполезными. Чем больше такие тексты похожи на человеческие, тем ближе точность детектора к 50%. Но с такой же точностью можно просто угадывать, кому принадлежат подозрительные слова (с этим выводом спорят другие ученые; интересно, что они с того же факультета Мэрилендского университета).

Конечно, почти в каждой группе есть особо старательный студент, всегда делающий больше, чем требуется, и без всяких нейросетей. Но, по словам Эрика Офганга, такие ребята обычно пишут преподавателю с уточняющими вопросами, сдают задания раньше одногруппников, и их тексты чаще всего хорошо написаны. А вот когда длинный текст сдаёт студент, который раньше не был таким перфекционистом, это подозрительный «звоночек».

В качестве еще одного подходящего онлайн-сервиса могу порекомендовать AI Content Detector. Это стандартный по интерфейсу сайт, позволяющий одновременно проверить до трех тысяч слов. Отображает процент вероятности использования нейросети при написании проверяемого текста. Точно так же, как и многие подобные инструменты, не всегда корректно работает с русским текстом, но в большинстве случаев отображает правильный или приблизительный к нему результат, пропуская лишь некоторые фрагменты.

Нет опечаток, орфографических и пунктуационных ошибок

В другой публикации преподаватель рассказал об одном из случаев, когда его подозрения подкрепились и сторонними мнениями, и результатами ИИ-детекторов. Тогда, прежде чем оценить работу, он отправил студенту письмо с предложением обсудить его текст и ответить на несколько вопросов. И одновременно разослал всем другим ребятам напоминания, что злоупотребление нейросетями против правил его курса. Студент, сдавший подозрительный текст, сообщение проигнорировал и поэтому не получил баллы за эту работу.

Генеративные нейросети, в том числе СhatGPT, склонны формулировать ответы на любые запросы в виде перечней. Люди же, как правило, используют их в своих текстах не так часто. Например, для описания сложных идей формат списка вряд ли уместен. Даже в случае, когда этот формат подходит, большинство студентов нечасто структурируют информацию именно так, по наблюдению Офганга. Поэтому чрезмерное использование списков, по его мнению, может быть признаком того, что текст сгенерирован ИИ.

Сайт Text.ru позиционируется как биржа копирайтинга и имеет свой антиплагиат. С недавнего времени разработчики предлагают юзерам на платной основе доступ к рерайтеру текста на базе ИИ и детектору, который распознает такой написанный ботом текст. Это главный минус сайта, поскольку бесплатно нельзя проверить и несколько сотен символов, чтобы протестировать работу инструмента.

Текст, написанный человеком, не застрахован от опечаток, пропущенных запятых и нескладных формулировок. В то время как ChatGPT, по наблюдению автора статьи, создаёт очень гладкие тексты, в которых в среднем гораздо меньше ошибок, чем в работах многих студентов.

Что касается взаимодействия с самим анализатором текста, то этот процесс не станет чем-то трудным и будет понятен каждому пользователю. Единственное – незнающие английский язык могут использовать мою инструкцию ниже или же активировать встроенный в браузер переводчик страниц.

Весной 2023 в том же духе рассуждали исследователи из Мэрилендского университета. В подтверждение они привели результаты своих экспериментов. Вместо того чтобы сразу проверять детекторами машинный текст, ученые сначала воспользовались нейросетью, которая его перефразировала. Авторство текста, пересказанного другими словами, детекторы намного чаще приписывали человеку.

В июне 2023 года в компании Scribbr протестировали десять популярных сервисов для распознавания машинных текстов. Лучше всех с заданиями справился Winston AI: его точность составила 84%. Среди бесплатных сервисов лучший результат — у детектора Sapling (68%). Проверяли тексты на английском языке. С русским детекторы могут работать хуже. С другой стороны, популярные модели, которые генерируют тексты, тоже лучше всего справляются с английским, а не русским.

Стоит понимать, что подобные сайты созданы не так давно и пока только находятся на стадии обучения и улучшения функциональности. Поэтому не всегда получается на 100% точно определить происхождение текста. Нивелируется в некоторых случаях это одновременным использованием нескольких разных сервисов, которые вы можете выбрать для себя из описаний выше.

Как определить машинный текст на глаз?

Как замечает автор статьи, текст, сгенерированный нейросетью, можно сравнить с музыкой, играющей в лифте. Звучит она бодро и позитивно, но не передаёт настоящие эмоции. И если, например, предложить студентам написать о важных личных воспоминаниях или любимом увлечении, то сгенерированное эссе, по сравнению с созданным человеком, покажется пустым и безжизненным.

Машинные тексты, на первый взгляд неотличимые от написанных человеком, появились сравнительно недавно — у разработчиков детекторов для их выявления было мало времени. Но, возможно, надежные инструменты так никогда и не появятся. Подводя итоги тестирования, специалисты Scribbr писали, что само устройство детекторов не позволяет гарантировать 100-процентную точность и что всегда есть хотя бы небольшой риск принять текст человека за машинный, поэтому результаты проверок следует рассматривать только вместе с другими доказательствами.

По словам преподавателя, в некоторых текстах он замечает сразу несколько названных выше признаков, что вызывает сомнения в честности выполненной студентом работы. А в других случаях бывает сложно отметить конкретные индикаторы ИИ-генерации, но при чтении текста возникает стойкое чувство, что писал его не человек.

В такой ситуации Эрик Офганг нередко обращается за вторым мнением к коллеге-преподавателю. Если с его подозрениями соглашаются, сомнительный текст становится поводом для беседы со студентами об этике использования нейросетей в обучении. Автор статьи подчёркивает, что это именно беседа, а не обвинения. Тем более что доказать, что текст сгенерирован, практически невозможно.

Также в Scribbr пропустили машинные тексты через фильтры для поиска плагиата. В некоторых случаях это сработало: фрагменты, написанные моделью, были помечены. Видимо, дело в том, что иногда модели используют в ответах чужие тексты или очень похожие формулировки, не указывая источник. Детекторы выявляют машинные тексты значительно лучше, но, возможно, со временем их встроят в инструменты для поиска заимствований, как это уже сделано в российском «Антиплагиате».

С появлением нейронных сетей для генерирования текстов логично было ожидать, что вместе с ними появятся и сервисы, играющие роль детекторов. Существует множество полезных инструментов, анализирующих содержимое и определяющее вероятность, с которой текст мог быть создан ИИ. Есть разные критерии оценки, и каждый инструмент использует свой подход для качественного анализа. Поэтому отличным вариантом будет один и тот же фрагмент прогнать через несколько сайтов, чтобы получить объективный результат.

За помощью можно обратиться к специальным инструментам — ИИ-детекторам. Такая функция появилась у «Антиплагиата», подобный сервис разработала и OpenAI — компания, создавшая сам ChatGPT. Однако разработчики предупреждают, что эти инструменты несовершенны — они не всегда распознают сгенерированные тексты и, наоборот, иногда принимают за продукт генерации искусственным интеллектом текст, написанный человеком.

Детекторы бывают нескольких типов. Зачастую они действуют по принципу «клин клином вышибают»: текст, построенный с помощью большой языковой модели, анализирует схожая модель, которую натренировали на текстах и людей, и машин. Проблема этого подхода заключается в том, что разработчикам нужно подстраивать модель-детектор под конкретные модели-генераторы. Но есть и такие детекторы, которые работают без тренировок, всего лишь оценивая вероятности. Правда, они считаются более уязвимыми для атак.