Как используя силу 30 нейронных сетей, создать игру

Лепим и рисуем

Нейросети вовсю применяют при создании компьютерных игр, причем в самых разных областях – от написания кода до генерации открытого мира. О том, насколько далеко может зайти этот процесс, мы поговорили с разработчиками из Mundfish (Atomic Heart), Dobro Games и других крупных компаний.

Мы несколько лет следим за развитием ИИ в компьютерной графике и более 4 лет используем концепцию ко-креаторства внутри студии. У нас уже есть пара статей-разборов и проектов с использованием данного подхода (1, 2). Мы начали собирать всевозможные технологии, продукты и нейронные сети для использования в компьютерной графике и сделали библиотеку Generative AI инструментов, в которой уже более 1000 сегментированных продуктов.

Искусственный интеллект в играх начали применять еще во второй половине XX века – задолго до массового распространения персональных компьютеров. Но появление нейросетевых технологий подняло ИИ на качественно новый уровень и начало менять как процесс разработки игр, так и сами игры. Однако, прежде всего, стоит разграничить понятия «искусственный интеллект» и «нейросеть».

В итоге на основе нашего опыта решили сделать продукт Phygital+, который позволяет иллюстратору или даже геймдизайнеру использовать возможности самых современных нейронных сетей для генерации контента. Сейчас нейронных сетей в продукте 30, некоторые из них заточены на решение конкретной задачи, например, создание панорам или текстур. Другие подойдут для обучения нейронных сетей на своем стиле, генерации персонажей и локаций. Количество нейронных сетей в продукте постоянно растет, у нас уходит 1 день, чтобы добавить новый AI сервис. Вышел инструмент, видим, что стал популярным у креаторов, сразу добавляем к нам. Иллюстратору не надо разбираться в коде коллаба, иметь мощные GPU, все происходит у нас в облаке.

Самый очевидный вариант использования нейросетей в гейм-индустрии – создание текстового контента, прежде всего речи неигровых персонажей (non-player character, NPC). Шаблонные ответы убивают все настроение, нейросети же предлагают оригинальные фразы, имитируя живое общение. Не всегда успешно, но все лучше и лучше.

Когда же мы только начинали использовать данный подход, еще не было названия Generative AI и качество генераций позволяло использовать это только в экспериментах или для абстрактных текстур. Но сейчас с приходом диффузионных моделей качество генераций стало на порядок лучше, и уже можно использовать ИИ в продакшне.

Творцы миров

На DTF есть отличные статьи от других компаний — как использование Midjourney или Stable Diffusion им помогло в оптимизации стоимости и времени реализации. Я же хочу рассказать про возможности использования ИИ для игровых компаний на всем пайплайне: из 1000+ нейронных сетей уже как минимум 30+ сетей вам действительно могут пригодиться. Конкретнее, как уже используется ИИ в генерации 2D, 3D контента и для улучшения производительности приложений. И как уже сегодня нейронные сети используются на этапах концепта, пре-продакшна, продакшна и пост-продакшна. Я каждую неделю провожу АМА-сессии с арт-директорами и гейм-девелоперами на данную тему, если у вас есть интерес пишите мне, с удовольствием проведем совместно.

Еще один вариант применения нейросетей в играх – придумывание несложных квестов. Более того, существуют текстовые ролевые игры на основе ChatGPT. Там игрок определяет стиль приключения, выбирает тип персонажа, а затем словами описывает свои реакции на сюжетные повороты. И в зависимости от этих описаний нейросеть генерирует цепочку событий. Самую известную из таких игр, AI Dungeon, с 2019 года из Google Play скачали более 1 млн раз. Любопытно, что некоторые пользователи указывали на склонность этой игры к созданию сексуализированного контента без соответствующего запроса – видимо, нейросеть ориентировалась на пожелания других пользователей или ее обучали на таком материале.

Мы вели исследования в области нейросетей, оценивали их потенциал для работы, но на данный момент решили все-таки не вводить их в повседневные пайплайны. Мы убеждены в важности сохранения баланса между технологиями и человеческим творчеством и верим, что, несмотря на потенциальные преимущества нейросетей, наша команда способна достичь успеха без их использования на ежедневной основе. Тем не менее мы продолжаем внимательно отслеживать развитие ИИ и не исключаем возможности его внедрения в будущем.

В любом случае нейросети способны значительно упростить как минимум этап препродакшена проектов. Они позволяют быстрее находить лучшие способы реализации идей и уменьшить общее время разработки. Мы думаем, что скоро многие компании имплементируют подобные инструменты в свой пайплайн в том или ином виде. Помимо того же ChatGPT, помогающего в обработке текстов, мы считаем перспективными множество нейросетевых инструментов. Если для теста или вдохновения нужно сгенерировать изображение, есть Stable Diffusion, Midjourney, Magnific, Automatic1111, Fooocus и плагин Krita AI Diffusion. Особняком стоит FORGE – абсолютно новый, революционный интерфейс для генерации картинок от автора Fooocus. Его «фишкой» является прекрасная оптимизация, прямая работа со слоями изображений и другие интересные функции. Среди инструментов для работы со звуком или голосом можно выделить RVC и ElevenLabs, а для генерации видео – SVD (Stable Video Diffusion) и Runway.

Нейросети, генерирующие изображения, перестают выглядеть чудом после знакомства с такими инструментами, как Promethean AI, – создающими трехмерные игровые миры. Принцип управления у них аналогичный: нужный стиль изображения можно описать текстом или задать референсной картинкой. Нейросеть предложит варианты, а потом трансформирует выбранное изображение в 3D. И так на каждом этапе сотворения игрового мира: начинаем с ландшафта, затем дополняем его всем необходимым. Нейросеть сама вписывает объекты в пейзаж и размещает персонажей в пространстве. И фигуры действительно становятся объемными, с какой стороны ни посмотри. Promethean AI позволяет любому желающему почувствовать себя демиургом: с таким инструментом можно не только сотворить собственный мир, но и сделать это гораздо быстрее, чем за шесть дней.

В частности, среди игровых художников популярна нейросеть Stable Diffusion. Ее особенность – широчайший диапазон настроек. Есть фильтры, есть задающие стиль рисования модели, есть масса написанных сторонними разработчиками расширений. Кроме того, Stable Diffusion можно обучить на собственных референсных изображениях, получив на выходе картинки в своем же авторском стиле. Добиться нужного результата непросто, так что уже можно говорить о появлении профессии AI-художника. Но и при всех сложностях скорость создания персонажей возрастает на порядок.