Что такое искусственный интеллект тест

Визуальный тест Тьюринга

Некоторые считают склонность к «очеловечиванию» машин своего рода проклятием современной технологической эпохи. Люди часто интерпретируют поведение неодушевленных систем через призму человеческого опыта, но неверное понимание природы ИИ может привести к печальным и драматичным последствиям. Именно об этом нас предупреждают многие известные ученые и разработчики искусственного интеллекта, и к их мнению стоит прислушаться.

Имя для программы позаимствовали у главной героини пьесы «Пигмалион» Бернарда Шоу — уличной цветочницы Элизы Дуллитл. В знаменитом произведении великого писателя молодую и необразованную девушку за полгода на спор обучили произношению, принятому в высшем обществе, чтобы на светском приёме представить как герцогиню. Кстати, название пьесы — это ироничная аллюзия на античный миф о скульпторе Пигмалионе, полюбившем своё творение и в итоге уговорившим Афродиту оживить созданную им скульптуру.

Испытание IKEA (также известное как строительное испытание), придуманное Ортицом, призвано обойти эти ограничения. Его могут пройти только роботы, способные построить физические структуры из, например, деталей мебели IKEA или даже кубиков LEGO. Робот, проходящий испытание IKEA, должен давать вербальные инструкции и описания структур, самостоятельно манипулировать деталями и физическими компонентами, следить за постройкой, отвечать на вопросы и описывать ход работы.

Многим ученым становится все более очевидным, — универсального метода определения «разумности» машин, нового более точного «теста Тьюринга» не существует и, вероятно, никогда не появится. Идея о едином тесте, способном однозначно установить интеллектуальность ИИ, постепенно уходит в прошлое.

В текстовом обмене искусственный интеллект еще может обмануть человека, но, к примеру, еще один тест — «Корпус абстрагирования и рассуждения» пока не могут пройти даже самые продвинутые на сегодня системы. Участникам этого теста показывали несколько визуальных демонстраций, в которых один узор на матрице из квадратов преобразовывался в другой по определенным правилам, и им предлагалось определить, как будет выглядеть следующая трансформация. В 2020 году было организовано соревнование между ботами, где победила ИИ-система, специально обученная решать такие задачи, но и она справилась лишь с 21% задач, тогда как люди в среднем справлялись с 80% таких головоломок.

Машине показывают картинку и спрашивают, например, где на ней находится чашка, — и дают несколько вариантов ответа. Все варианты ответов правильные (на столе, на подстилке, перед стулом, слева от лампы), но некоторые из них могут быть более человеческими, чем другие (скажем, из всего перечисленного человек скорее ответит «на столе»). Кажется, что это простое задание, но на самом деле способность описать, где находится объект по отношению к другим объектам — важнейший элемент человеческого разума. Здесь играют роль множество нюансов и субъективных суждений, от размера объектов до их роли в конкретной ситуации — в общем, контекст. Люди проделывают это интуитивно, а машины сталкиваются с проблемами.

Этот тест назван в честь Ады Лавлейс, математика из XIX века, которую считают первым в истории программистом. Он призван определить наличие интеллекта у машины через способность её к творчеству. Первоначально тест предложили в 2001 году: тогда машина должна была создать произведение искусства, которое разработчик машины принял бы за созданное человеком. Так как чётких критериев успеха нет, тест получается слишком неточным.

В прошлом году профессор Марк Рейдел из Технологического института Джорджии обновил тест, чтобы сделать его менее субъективным. Теперь машина должна создать произведение в определённом жанре и в определённых творческих рамках, заданных человеком-судьёй. Проще говоря, это должно быть произведение искусства в конкретном стиле. Скажем, судья может попросить машину нарисовать маньеристскую картину в духе Пармиджанино или написать джазовое произведение в духе Майлза Дэвиса. В отличие от оригинального теста, машины работают в заданных рамках, и поэтому судьи могут оценивать результат более объективно.

Испытание IKEA

Недавно появилась информация, что искусственный интеллект якобы успешно прошел тест Тьюринга, призванный определить «разумность» компьютерной системы. О том, как и когда люди стали проверять машины на наличие разума и не обманывает ли человечество себя, присваивая компьютерам человеческие свойства, мы расскажем в новой статье.

Как и Ортиц, создатели визуального теста Тьюринга пытаются уменьшить роль языка в первоначальном тесте. Сотрудники Эксетерского университета в Англии Майкл Барклай и Энтони Галтон придумали тест, который проверяет визуальные способности машины, то есть может ли она «видеть», как человек. Тест можно посмотреть здесь.

В 1950 году британский математик и криптограф Алан Тьюринг разработал тест, получивший его имя — «Тест Тьюринга». До недавнего времени считалось, что с его помощью можно оценить способности машины (компьютера) демонстрировать разумное поведение, неотличимое от человеческого.

Чат-боты, проходящие тест Тьюринга, умело обманывают судей и заставляют поверить, что они — люди. По словам Гектора Левеска, профессора информатики в Университете Торонто, такой тест лишь показывает, как легко обмануть человека, особенно в короткой текстовой переписке. Но из теста Тьюринга невозможно понять, есть ли у машины интеллект или хотя бы понимание языка.

Ирония современного этапа развития ИИ заключается в том, что, создав сложные лингвистические модели, человечество оказалось не в состоянии полностью постичь их внутренние механизмы. «Черный ящик» современного ИИ остается загадкой даже для его создателей. К тому же наша склонность «очеловечивать» все, что кажется разумным, может привести к ошибочному пониманию природы и возможностей искусственного интеллекта. Несмотря на это, мы наблюдаем стремительное внедрение ИИ-систем в различные сферы жизни, включая те, где на карту поставлены человеческие жизни.

Ученые подчеркивают острую необходимость разработки надежных инструментов аудита и мониторинга ИИ. Создание средств контроля за ИИ должно стать приоритетной задачей, сравнимой по важности с установлением правил дорожного движения или стандартов качества продукции.