Как научить искусственный интеллект делать всё в цифровой вселенной

Ошибаться тоже надо уметь

Как правило, организаторы соревнований выводят на большой экран изображения с мониторов гроссмейстеров, подключённых к шахматным компьютерам. Зрители в режиме реального времени могут видеть процесс взаимодействия игроков с ИИ, как профессионалы просчитывают вместе с компьютером различные варианты продолжения партии и выбирают из них лучшие. Таким образом, аудитория получает наглядное представление о ходе мыслительных процессов сильнейших шахматных игроков.

Впереди будут и другие. В теории Universe может запустить любое программное обеспечение под любой компьютер, позволяя ученым вставлять и обучать свои ИИ по желанию. Это как отправить ребенка в летний лагерь: выбираешь свою нишу, тип деятельности, ждешь, пока он ее освоит, затем другую и так далее, искупаться и повторить.

Чтобы добраться до интеллекта общего уровня — способного на человеческом уровне использовать полученный опыт для решения новых проблем — ИИ нужно переносить свой опыт в решение других задач. И вот в этом им поможет Universe. Испытывая мир, полный различных сценариев, ученые OpenAI надеются, что ИИ получит знание о мире и гибкие навыки решения проблем, которые позволят ему «думать», а не застревать навечно в единственной петле.

В каждом из матчей было проведено по 100 игр. AlphaZero убедительно победила всех противников, не проиграв ни одной партии в шахматах и уступив лишь восемь игр в сёги программе Elmo. А вот в го всё прошло не так гладко, хотя победа всё равно была уверенной.

Для тренировки нейросети использовался метод обучения с подкреплением (reinforcement learning, RL). Сеть обучалась полностью самостоятельно, проводя тысячи партий против самой себя (потребовалось более 700 тысяч игр) и получая «вознаграждения» за действия, приводящие к выигрышу. Таким образом AlphaZero училась на собственных ошибках, корректируя параметры нейронной сети, чтобы принимать верные решения в последующих играх.

Это стало возможным благодаря Virtual Network Computing (VNC), по сути, систему совместного использования рабочего стола, которая позволяет передавать движения клавиатуры и мыши с одного компьютера (ИИ) другому (среда обучения). При изменении окружающей среды, VNC отправляет обновленные скриншоты обратно ИИ, что позволяет ему выполнять следующий шаг. VNC выступает как глаза и руки ИИ.

Чтобы проверить уровень игры AlphaZero, программисты DeepMind устроили турнир, заставив сражаться свою нейросеть против компьютерных программ, считавшихся до того лучшими в своём роде. Результаты соревнования показали уверенное превосходство AlphaZero над всеми конкурентами.

Обучение с подкреплением уже используется во многих приложениях ИИ. Внутри Universe, впрочем, сила этой технологии раскрывается на полную. Поскольку ИИ может перескакивать между играми и приложениями, он может взять изученное в одном приложении и запросто использовать его, чтобы разобраться в другом — это назвали «трансферное обучение» или «обучение с переносом». Этот навык непросто освоить, но он необходимо на дороге к разумным машинам.

Инопланетная игра за 24 часа

Компьютерные системы для совместной работы человека и искусственного интеллекта разработали школьники и студенты — победители хакатона «Игры разумов». На матч во Владивосток приехали восемь таких команд — разработчиков «кентавров» со всей России, которые привезли свои версии человеко-машинных интерфейсов для игры в го.

Как выяснилось, «человечность» во многом определяется тем, какие ошибки обычно совершает игрок. Шахматисты с низким уровнем игры допускают больше глупых просчётов определённого вида (так называемых «зевков»), чем их более продвинутые коллеги. Таким образом, задача обучения Maia свелась к тому, чтобы научить её предсказывать и совершать ошибки, характерные для людей с разным уровнем квалификации.

Эти задачи, хоть и простые, формируют фундамент того, как мы подключаемся к сокровищнице под названием Сеть. OpenAI хочет, чтобы ИИ свободно перемещался по Интернету — например, мог заказать билет на самолет. В одной из сред Universe исследователи уже дают ИИ желаемое расписание букинга и учат его искать рейсы на различных авиалиниях.

Современные нейронные сети настолько продвинуты, что могут уверенно обыгрывать людей практически во все культовые настолки. Время соперничества человека с ИИ прошло — теперь игроки-люди, учёные и программисты совместными усилиями пытаются наладить сотрудничество с нейросетями.

Как и многие другие разработчики ИИ, OpenAI использует игры, чтобы подтолкнуть Universe, не просто так: их просто оценить с позиции успеха. Поскольку игры измеряются различными статистиками и оценками, система может запросто использовать эти цифры, чтобы оценить прогресс ИИ и вознаградить его соответствующим образом. Это крайне важно для обучения с подкреплением.

После триумфальной победы программы AlphaGo над величайшим игроком в го Ли Седолем её создатели из DeepMind продолжили совершенствовать своё творение. Они задались целью создать универсальную нейронную сеть, которая могла бы играть сразу в несколько настолок — это стало бы очередным шагом к созданию ИИ, подобного человеческому мозгу.

Пока что наши системы ИИ — сверхэффективные лошадки для одного трюка. Виновен в этом отчасти метод обучения: исследователи начинают с чистого листа ИИ, проводя его через миллионы испытаний, пока он не преуспеет в одной задаче и не решит ее. ИИ никогда не испытывает что-то еще, так как он узнает, как решить любую другую проблему?

Возможно, и дорога будет долгой. Но ИИ, который знает, как выиграть в любую игру, которую вы ему подбросите, умеет только думать логически и в несколько шагов добиваться победы. ИИ, который может передвигаться по хаотическому миру GTA V, уже должен понимать основы физики реального мира, жестокости и ответных мер. ИИ, который может работать в Интернете, уже знает, как люди обычно общаются друг с другом и может использовать эти знания, чтобы получить информацию, создать свою собственную веб-идентичность или даже заглянуть в вашу.