Неидеальная технология: проблемы и ограничения нейросетей

Риск стать инструментом для обмана

В большинстве случаев, если это не прописано в алгоритме, нельзя определить, как нейросеть пришла к тому или иному ответу — генерация осуществляется неконтролируемо. И если для общения с человеком боты используют выбранную языковую систему, то между собой могут переходить на непонятный человеку язык.

Почему так? Да потому что стихи очень похожи на те тексты, которые выдает нейросеть. Часто в стихотворении одна мысль выражена в одной строке, а следующая мысль и следующая строка уже слабо связана с предыдущей. Так же порождают текст и нейросетевые алгоритмы. Для диалоговых агентов вроде «Алисы» или Siri, которые сейчас построены на нейросетях, это проблема: они плохо помнят, о чем говорили с пользователем всего пару реплик назад. Им трудно улавливать связи между предложениями, и сами они часто порождают бессвязные тексты. А для стихов это нормально.

Нейросети же получают и применяют знания изолированно, в рамках конкретных задач. Они не могут гибко интегрировать навыки и использовать их повторно для решения новых задач в другом контексте — ИИ, которая умеет играть в Го, не сможет перенести усвоенные игровые принципы на аналогичную игру.

Более того, оказывается, нейросеть, выучив исходные тексты, начинает имитировать не только язык, но и стиль. Это не так уж и удивительно: мы уже были свидетелями, как создателям нейросетей удалось отделить контент от стиля в случае с живописью. Именно это сделало возможным создание приложений типа Prisma: берем произвольную картинку и совмещаем её со стилем какого-нибудь Ван-Гога. С текстом пока так ровно не получается, но уже очень хочется. Выделить экстракт стиля писателя или поэта пока не вышло, но то, что нейросеть способна уловить и выучить стиль — несомненно.

Также ИИ станет обучаться на собственных текстах, что приведет ко все более частым ошибкам и неизбежному снижению качества работы. Произойдет технический коллапс. В интернете будет стремительно уменьшаться количество ценной информации, а нейросети станут практически бесполезными.

Также у DALLE-2 в лексиконе обнаружился набор абсурдных слов, которые соответствуют определенным визуальным концепциям и даже могут согласовываться между собой. Эти слова нейросеть сначала сгенерировала на картинках, а потом исследователи предложили их в качестве запросов и получили определенный результат. Видимо, ИИ видит в них совпадения с реальными запросами, то есть для него эти слова похожи на что-то, что уже встречалось в вводных данных.

Вопреки впечатлению, что нейросети сейчас используются почти всеми и повсюду, это все еще довольно дорогая технология. Нейронные сети для обучения или работы требуют значительных вычислительных мощностей для обработки данных. Далеко не во всех сферах можно внедрить такое оборудование, чтобы это было экономически оправдано.

Более того, присутствие несвойственных деталей на объектах сбивает нейросеть с толку. Достаточно изменить несущественную часть изображения — и вот уже ИИ не может отличить собаку от кошки. А способность провести более глубокий сознательный анализ, абстрагироваться от поверхностных признаков и скорректировать свое первое впечатление ему пока недоступна.

«Хьюстон, у нас проблемы»: ограничения и недостатки ИИ

Через несколько дней Альтман вернулся на свой пост, чтобы дальше заниматься развитием ChatGPT. Из вышесказанного официально подтверждается только то, что в ближайшем будущем нас ждут серьезные достижения в области ИИ. Но разработка модели GPT 5 на данный момент приостановлена — разработчики работают над вопросами безопасности актуальной языковой модели GPT 4 и устранением недостатков ChatGPT.

А ещё литературоведы давно пытаются понять (но и немножко боятся этого понимания): те смыслы, которые они отыскивают в тексте, происходят от автора или от читателя? Кто придумывает стихотворение? Кто наполняет его содержанием? Если читатель, то непонятно, зачем нужны все эти многочисленные биографические исследования, посвященные писателям. Можно предложить текст, сочиненный нейросетью, литературоведу, и, не говоря, откуда этот текст взялся, проследить, сможет ли он приписать «автору» аллюзии, цитаты, замысел? Конечно, это можно было бы сделать и с прежними компьютерными стихами, но нейросетевые и сложнее структурно, и менее предсказуемы. Если литературовед сможет «интерпретировать» и такой текст, значит, он более творческая фигура в отношениях автора и читателя.

А как было раньше, до нейросетей? Раньше поэты искали в компьютере случайность. Случайность (вернее, неподконтрольность автору) — вообще одна из центральных категорий эстетики XX века. Авангардисты очень хотели отмежеваться от академического искусства предыдущих эпох, искусства рационального, холодного, как им казалось, мертвого. Поэтому многие пытались изгнать рацио из своих произведений. Сюрреалисты придумали «автоматическое письмо», с помощью которого записывали будто бы никак не контролируемый ими поток речи, Джексон Поллок случайно плескал краску на холст. Поэты стремились к тому же: если мы возьмем компьютер, он будет выдавать числа в случайном порядке, и это-то и есть настоящее искусство.

Всё это, конечно, парадокс. Создать случайное значение в компьютере очень трудно, он плохо для такого приспособлен. Как раз инженеры хорошо знают, что нет ничего случайного, все чем-то обусловлено. Так откуда же брать такое нужное для многих задач случайное число? Как-то выкручиваются, но, строго говоря, в компьютере сидят генераторы псевдослучайных чисел, а не «настоящих» случайных значений, которых и не может быть в природе.

Вслед за современным поэтом нейросеть научилась играть словами! «озеро горизонта», «глубок луг», «н-за / сознаний». Даже какие-то второстепенные вещи вроде дефисов внутри строки и подписей под текстами были воспроизведены. Азарова не писала этих текстов, но вполне могла бы написать, это её поэтика.

Например, языковая модель Galactica по просьбе пользователя написала очень убедительную «научную статью» о пользе употребления битого стекла. В материале были ссылки на исследования и мнения экспертов, имеющие вид полноценной доказательной базы. Та же модель путала исторические даты, имена, факты — к примеру, писала о запуске медведей в космос. В итоге из-за многочисленных жалоб пользователей, тестировавших платформу, она была заблокирована.