Как создать своего персонажа при помощи нейросети

Изменяющиеся характеристики

Лучшим вариантом будет делить большие описания на более краткие, характеризующие конкретную сцену и персонажей, и остальное оставлять на нейросеть. Впоследствии можно в качестве исходника взять результат предыдущей генерации и уже поправить или добавить новые детали.

Можно пойти еще дальше и использовать нейросеть Point-E для создания 3D-модели человека. Конечно, после этого придется серьезно поработать с прототипом в 3D-редакторе, добавив трехмерному аватару правильные черты лица, одежду и так далее. Но такой способ позволяет добиться куда большего – например, воссоздать целую комнату в трехмерном пространстве с предметами и нужным человеком. Затем это в пространство можно войти как игрок в VR-очках и общаться с аватаром, управляемым искусственным интеллектом. Например, в этом видео один из разработчиков Nvidia сгенерировал при помощи Instant NeRF трехмерное пространство из загруженных фотографий и прогулялся по нему при помощи VR-очков:

Сегодня на рынке есть сотни нейросетей — одни создают изображения по текстовому запросу, другие способны заставить говорить людей с фотографий, третьи могут самостоятельно придумывать текст и вступать в диалоги с людьми, а четвертые — озвучивать введенный текст. Но что если объединить все эти алгоритмы? Сможем ли мы «воскресить» умершего человека, как в эпизоде «Я скоро вернусь» из второго сезона «Черного зеркала»? В общем ответ скорее «да», чем «нет».

Когда мы создали виртуальный портрет человека, воссоздали его манеру речи и голос, наступает самое сложное — объединить это всё так, чтобы оно заработало. Насколько это сложная задача, мы судить не беремся — оставим рассуждения программистам. Но кое-кому уже удалось провернуть подобное.

Речь про разработчика по имени Брайс (свои личные данные он предпочел не раскрывать), который создал аниме-девушку, способную видеть, отвечать и реагировать на действия своего создателя. При разработке системы он использовал ChatGPT, Stable Diffusion 2 и Microsoft Azure TTS. Последний сервис помогал генерировать голос и распознавать изображения с камеры.

Остальные детали могут добавляться, а могут игнорироваться. Поэтому есть смысл готовить серию промптов — через один мы попросим сгенерировать именно внешность героя для визуализации, а через другой уже покажем героя во время действия или в конкретном месте.

Финишная прямая — составьте промпт

Если ты хочешь оптимизировать свою работу над рутинными художественными задачами и получать крутые результаты, предлагаем пройти наш курс «Нейросети для художника». Мы расскажем, как создавать в нейросетях практически готовые изображения в заданной стилистике. Переходи на страницу курса, чтобы подробнее изучить программу!

Однако это лишь вопрос времени, когда появится возможность самостоятельно дообучать нейросети на основе загруженных пользователями данных. Нет никаких сомнений в том, что ChatGPT, обученная на предоставленной ей информации о конкретной персоне, сможет давать ответы «в стиле» этого человека.

Дизайн персонажа — молодая девушка с обычным телосложением, у нее каштановые кудрявые волосы, карие глаза и большие очки. Ходит либо в обычной повседневной одежде, либо в форме для экспедиций. У нее есть талисман — кулон в виде кошки, подаренный мамой.

Этот минимальный набор данных уже сегодня поможет создать виртуальную модель человека, управляемую искусственным интеллектом. Конечно, в общении с этой моделью вы сможете частично узнать человека, которого она копирует, но такой искусственный интеллект все еще будет вести себя как нейросеть — его реакции не будут “человеческими” и беседы с ним будут не такими интересными.

Звучат сгенерированные нейросетью голоса очень похоже на реальных людей. Так что, если у вас есть достаточное количество записей голоса нужного человека, вы без труда сможете воссоздать его речь при помощи нейросети. «Прикрутив» чат-бота по API к такому сервису, можно озвучивать реплики «цифрового двойника».

Например, мы решили дать развернутое описание по каждому из пунктов для демона, который влюбился в женщину-ангела, но когда на небесах об этом узнали, ее казнили в назидание всем. Демон не смог вынести боли от утраты и решил уничтожить каждого причастного к убийству ангела — он отправился в ангельскую резиденцию и устроил бойню. Мы захотели запечатлеть этот момент.