Читерство ИИ в культовых настолках: как нейросети научились обыгрывать людей на интуиции

Сверхчеловеческие способности не для го

Такой подход зарекомендовал себя для шашек и шахмат, но не подходил для популярной в Азии игры под названием «го». Долгое время она оставалась последним оплотом человечества. До 2015 года лучшие программы могли похвастать лишь любительским уровнем игры. Специалисты по ИИ полагали, что создать программу, способную обыграть экспертов в го, удастся в лучшем случае не раньше 2025 года.

Конечно, с момента появления TD-Gammon наука ушла далеко вперёд. Поэтому в распоряжении Deep Mind были более продвинутые технологии , чем у Джеральда Тезауро в 1995 году. В AlphaGo применили две очень сложные по своему внутреннему устройству нейросети и намного более совершенные методы их обучения (глубокое обучение). Но общие идеи построения программ были очень похожи.

Нейронная сеть вновь оценивала изменившуюся игровую ситуацию и подстраивала свои параметры (веса межнейронных связей) в зависимости от того, улучшил ли её предыдущий ход шансы на выигрыш или нет. По результатам каждой проведённой партии сеть получала «вознаграждение» за победу и стремилась повторять те решения, которые вели к получению этого вознаграждения, но при этом «забывала» те, что вели к поражению.

Цифровая интуиция, сформированная нейросетями в процессе обучения с подкреплением, позволила им уверенно обыгрывать людей даже в самые сложные настолки. Это достижение отправило в утиль силовые подходы на основе перебора вариантов, применявшиеся успешными шахматными компьютерами предыдущих поколений.

В прошлом году компания Илона Маска Open AI создали очень мощную нейросеть GPT-3. Она оказалась настолько крута, что, по словам разработчиков, «мир к ней не готов». Её не стали выкладывать в открытый доступ, и работать с ней можно только через API по подписке за деньги.

ИТ: Мне было очень интересно, как нейровопросы будут восприниматься в формате игры – с ведущим и командами, которые их пытаются взять. Потому что просто текст в канале немного не то – это как читать расшифровки стендапов или играть вопросы из базы в одного.

AlphaGo: цифровая интуиция в действии

Нейросеть, оставаясь в рамках правил игры, раз за разом находила нестандартные ходы, ведущие к победе. Многие решения нейронной сети эксперты, комментировавшие матч, поначалу называли ошибками, но потом убеждались, что эти «ошибки» вели программу к победе и были частью успешной стратегии.

Проигравший нейросети за год до того Фань Хуэй признался журналистам, что благодаря матчу против нейросети он стал лучше видеть элементы игры, которых не замечал ранее. Пересмотрев свои представления о го, эксперт изменил манеру игры и сумел улучшить собственный рейтинг на 300 позиций .

ИТ: Одна из моих моделей неплохо умеет играть в свояк — чисто на своих внутренних весах, без интернета! Когда дойдут руки, обучу её играть и в ЧГК. Серёжа тоже хотел научить нынешнюю модель брать вопросики. У меня есть примерная дата в уме — день программиста, 13 сентября. Хочется сделать прямо серьёзный турнир, заказать 30 вопросов, подложить 6 нейровопросов и дать командам сыграть это параллельно с компьютером. Получилось сделать «Вокруг АЛЬФЫ» (турнир на вопросах нейросети, — прим. ред.) — вывезем и это.

Вместо глупых машин, которые просто могут вычислять быстрее человека (например, играющих в шахматы компьютеров), TD-Gammon учится на собственном опыте почти так же, как это делают игроки. При этом у неё нет эмоциональной предвзятости. Она способна изучить любую игровую позицию и дать ей правильную оценку. Люди не могут делать это с такой же степенью совершенства».

СД: Первоначальное обучение модели, которая пытается понять, как работает язык, требует очень больших вычислительных ресурсов и большого количества данных. Например, ту модель, с которой начиналась «Аномалия», изначально обучил Михаил Гранкин на произведениях русской литературы и (кажется) Википедии. С голой версией этой сети можно поиграться здесь .

Исследователь ИИ из компании IBM Джеральд Тезауро посвятил 15 лет жизни тому, чтобы компьютер смог играть в нарды. Венцом его исследований, проводившихся с 1987 по 2002 год, стала нейросетевая программа TD-Gammon. Она впервые в мире могла на равных соревноваться с чемпионами мира.

Окончил физфак МГУ в 2020 году. Играть начал на третьем курсе, после отбора в студенческие сборные МГУ оказался в команде «Во вторник сможем » . Сейчас работает data scientist’ом в «Платформе ОФД», а в свободное от работы и интеллектуальных игр время занимается пет-проектами, один из которых вылился в канал «Аномалия ИКСа».

Тезауро смог создать нейросеть, которой не требовалось объяснять правила или демонстрировать, как играют профессионалы. Его программа обучалась полностью самостоятельно, проводя тысячи партий против самой себя. Это выгодно отличало её от применявшихся ранее подходов к обучению нейронных сетей, в которых требовалось участие экспертов.