Тест Тьюринга устарел Как проверить искусственный интеллект на разумность

Чувство контекста

Современные специалисты предъявляют к сильному ИИ еще более высокие требования, чем Вайногред: ИИ должен видеть контекст в информации разной модальности — ​текстовой, визуальной, звуковой. Например, предлагается, чтобы робот самостоятельно собрал шкаф из ИКЕА. Это требует понимания инструкций, соотнесения их с физическим миром и точной манипуляции реальными объектами.

Лучшей иллюстрацией этой идеи, как ни странно, могут послужить игры. Сам Тьюринг в своё время предложил с шахмат начать доказательство разума из машины. Компьютер, способный соперничать с человеческими когнитивными возможностями или превзойти их в чём-то более сложном, чем простой перебор цифр, несомненно, может считаться мыслящим. Теорию в пух и прах разбил компьютер Deep Blue, одержавший победу над чемпионом мира по шахматам Гарри Каспаровым в 1997 году. Машина всё ещё не способна заменить человека, однако её победа дала нам алгоритмы, фактически непобедимые в покере.

Профессор Стэнфордского университета Терри Вайногред предложил тест с вопросами, которые требуют понимания взаимоотношений между объектами и окружающим миром. Например: «Приз не влезает в коричневый чемодан, потому что он слишком большой. Что здесь „он“?» Для человека правильный ответ кажется очевидным, однако мы хорошо понимаем, что такое «приз» и «чемодан», какие роли они играют в жизни. Компьютеру для этого не обойтись без общих знаний о мире и способности рассуждать.

Критики подобного подхода опираются на мысленный эксперимент «китайская комната», который придумал Джон Сёрл. Представим, что у нас есть полный набор инструкций о том, какой исходящий иероглиф служит подходящим ответом на любой входящий. Тогда мы сможем адекватно поддерживать диалог по переписке, не зная китайского языка и вовсе не понимая сути разговора, а просто следуя указаниям. «Китайская комната» ставит под сомнение как экзаменационный тест, так и классический тест Тьюринга.

Стив Возняк. Американский инженер и программист, потомок выходцев из Польши. В середине 1970-х разработал системы Apple I и Apple II, запустив революцию в области персональных компьютеров. В 1987 году покинул Apple из-за разногласий с партнерами, однако сохранил акции компании. Сегодня продолжает активную деятельность как преподаватель и филантроп, инвестор и разработчик. Член Нацио­нального зала славы изобретателей США, живая легенда и интернет-мем.

Kuki. Чат-бот Kuki, написанный программистом Стивом Уорсвиком, ранее был известен как Mitsuku. Под этим именем он выиграл пять премий Лёбнера. Kuki притворяется 18-летней девушкой. Поболтать с ней можно во многих соцсетях и мессенджерах.

Реальная жизнь

[aesop_parallax img=”https://www.imena.ua/blog/wp-content/uploads/2015/09/cpu-424812_1920.jpg” parallaxbg=”on” caption=”Существует немало других аспектов «разумности», которыми стандартный тест пренебрегает. Современные учёные предлагают модернизировать наработки Алана Тьюринга. Новым критерием «разума» для компьютера предлагают считать не способность поддерживать правдоподобный разговор, а наличие воображения.” captionposition=”top-left” lightbox=”off” floater=”on” floaterposition=”left” floaterdirection=”up”]

Вышеприведенные примеры убедительно демонстрируют лишь одно – критерии существующего теста Тьюринга нуждаются, как минимум, в определённой переоценке. Возможно, этот тест следует воспринимать не как поиск разума в машине, а как средство для определения возможности машины?

Алан Тьюринг. Британский математик, информатик, криптограф. Создатель концепции «машина Тьюринга» — ​теоретической основы любых современных вычислительных систем. Работал в Манчестерском и Кембриджском университетах. Во время Второй мировой войны нашел методы для взлома шифров военно-морского флота и высшего командования Германии. Стал одним из разработчиков первых, еще ламповых, компьютеров. В 1951 году собрал первый компьютер, способный генерировать музыку.

[aesop_parallax img=”https://www.imena.ua/blog/wp-content/uploads/2015/09/seminar-594125_1280.jpg” parallaxbg=”on” caption=”Развивая эту идею, исследователи из США разработали «визуальный тест Тьюринга» для системы компьютерного зрения, которая научилась извлекать осмысленные отношения и тезисы из сцены – точно так же, как это делает человек.” captionposition=”top-left” lightbox=”on” floater=”on” floaterposition=”left” floaterdirection=”up”]

Лучшим тестом «сильного» ИИ будет проверка способностей умной машины действовать в реальном мире — ​как минимум справиться с заданием, которое придумал для таких систем сооснователь Apple Стив Возняк. Звучит тест элементарно: надо войти в случайную кухню и, сориентировавшись здесь, самостоятельно приготовить чашку кофе. Однако такая задача лежит далеко за пределами возможностей современной робототехники и ­программирования.

Тест Тьюринга был недееспособен с самого начала, но понятно это стало только недавно, в 2014-м, когда он был формально пройден. Притягательность теста — ​в его лаконичности: хотя строго определить интеллект не представляется возможным, простая методика может определить его наличие у машины. Однако тест упрекают в том, что он имеет дело не с интеллектом, а с поведением системы. Я бы сказал, что он испытывает понимание человеческого языка, тогда как настоящий интеллект включает и многое другое, недоступное для проверки в формате текстового общения. Но даже понимание языка можно тестировать по-разному. Формулировка Тьюринга не накладывает никаких специальных условий на формат диалога, его сложность и длительность. А именно здесь кроется основной подвох. Традиционный стиль онлайн-диалогов — ​обмен короткими репликами, чит-чат — ​легко имитируется большими языковыми моделями. Современная диалоговая система легко пройдет тест в стиле чит-чата. Но для выявления настоящего понимания нужно использовать специальные приемы, такие как языковые игры и мета-вопросы. Если бы я формулировал условия вместо Тьюринга, то обязательно бы уточнил: «Тест должны проводить подготовленные эксперты с применением методик, выявляющих понимание».

Американский изобретатель Хью Лёбнер организовал ежегодные соревнования на прохождение теста Тьюринга, которые проводятся с 1990 года. По условиям золотая медаль будет присуждена программе, которая выполнит задания, сформулированные с использованием визуальной и звуковой информации, а серебряная — ​за прохождение классического текстового теста. До сих пор участники добирались лишь до бронзы, вручаемой за самую убедительную попытку

Впрочем, современные машины не чужды импровизации. Существующий на сегодняшний день музыкальный компьютер lamus пишет чудесную музыку, которую, при всём желании, не так-то просто втиснуть в рамки алгоритмов. Разработчик lamus провёл свой «тест Тьюринга», попросив 250 субъектов, половина из которых была профессиональными музыкантами, прослушать одну из композиций, и музыку похожего стиля, написанную людьми, и решить, кто есть кто. Произведения компьютера были совершенно неотличимы от композиций людей, мнения опрашиваемых разделились примерно пополам.