Нейросети, которые помогают создавать 3D-модели

Механика Maya Assist

Одной из особенностей PIFU является то, что он может создавать 3D модели людей с различными типами кожи, волос и глаз. Это позволяет создавать более реалистичные модели, которые могут быть использованы в различных областях, таких как медицина, кино и видеоигры.

Искусственный интеллект может обеспечить более быстрое и простое создание 3D-контента, а также новые формы художественного самовыражения и совместной работы. Будущие версии Maya Assist и, возможно, ее аналоги для других DCC, смогут анализировать прошлую работу художника и создавать персонализированные команды, что еще больше сократит время, затрачиваемое на рутинные задачи. Такой персонализированный ИИ-помощник потенциально может узнать предпочтения и стили художника, став незаменимой частью творческого рабочего процесса.

Технологии искусственного интеллекта могут совершить революцию в создании 3D-контента, значительно ускорить рабочие процессы и открыть новые творческие возможности. Уже сейчас мы можем использовать нейросети для того, чтобы упростить работу с рутинными задачами и оставить больше времени непосредственно на творчество. В этой статье мы расскажем, какие нейросети могут уже сейчас использоваться для создания 3D-объектов.

TripoSR AI — уникальная платформа от компании Stability AI и Tripo AI, которая использует искусственный интеллект для создания первоклассных и удобных в использовании трехмерных моделей за считанные секунды! Благодаря современным методам синтеза и алгоритмам машинного обучения нейросеть TripoSR AI позволяет пользователям мгновенно преобразовывать тексты или визуальные изображения в сложные 3D-проекты, значительно сокращая время и ресурсы, необходимые для художественного творчества.

Если вы хотите профессионально разбираться в 3D моделировании, то вы можете пройти обучение этой специальности в GeekBrains. Вы научитесь 3D-моделированию с нуля, получите навыки создания трехмерных объектов, текстур, освещения, материалов, научитесь работать в программе по 3D-моделированию и станете квалифицированным 3D-моделлером, сможете реализовать свои проекты или трудоустроиться. Выбрать свою программу обучения можно здесь .

Инженер и художник по визуальным эффектам Universal University. Работает в 3D более 11 лет. Во время Олимпиады принимала участие в строительстве бобслейной трассы. Работала в Mark Space, принимала участие в создании приложения «Московские поликлиники». Сотрудничала с игровыми компаниями в качестве фрилансера и с Татнефть. Работает с анимационной студией «Аэроплан», преподаватель 3D Maya в GeekBrains.

Год назад смотрел видео в youtube “Картинку в 3D объект с помощью нейронной сети”, которая из изображения делает 3D модели. Ссылка на видео https://youtu.be/vHYxAMVFOb4?si=Q5vIlqkqz-7TAUxC Из недостатков этой нейросети было долгое ожидание генерации 3d модели (1 день) и сумма за готовую 3d модель, которая сопоставима со стоимостью заказа 3D модели на фрилансе. Под этим видео был комментарий следующего характера «Скорее это не нейронка, а просто дешёвый труд”. На тот момент я тоже подумал, что скорее всего делают люди и моделят за деньги. Со временем мое мнение поменялось. За последнее время нейронные сети стремительно развиваются. И сегодня доступно несколько нейронных сетей которые генерируют 3д модель по изображению или текстовому описанию

По данным Wonder Dynamics, ИИ платформы автоматизирует 80%-90% ручной работы с визуальными эффектами, особенно повторяющиеся задачи, такие как ротоскопинг (метод создания анимации путем рисования кадра за кадром поверх кадров фильма или видео), оставляя художникам больше времени на то, чтобы сосредоточиться на творческих решениях.

Используемые платформы и установка

Эта технология имеет множество практических применений в различных отраслях. Например, в сфере развлечений кинематографисты и игровые дизайнеры могут использовать Neural 3D Model Generation, чтобы воплощать в жизнь вымышленные миры и персонажей с большей легкостью и эффективностью, чем раньше. Между тем, преподаватели могут использовать его, чтобы предоставить учащимся интерактивную и увлекательную среду обучения, выходящую далеко за рамки простых учебников и слайд-шоу. Архитекторы и инженеры могут использовать его для виртуального тестирования проектов перед созданием физических прототипов, тем самым экономя ценные ресурсы и сводя к минимуму ошибки. Медицинские работники потенциально могут применять его для моделирования операций, помогая им в подготовке процедур и снижая риски во время реальных операций. Кроме того, розничные предприятия могут извлечь из этого выгоду, предлагая клиентам персонализированную демонстрацию продуктов удаленно через приложения дополненной реальности.

На данный момент плагин имеет ряд технических ограничений. Помимо максимального количества полигонов для 3D-персонажей в 1,5 миллиона полигонов и ограничения разрешения рендеринга в 4K. Самым большим ограничением является то, что в настоящее время он не поддерживает взаимодействие персонажа с персонажем или персонажа с объектом, а также качество вывода может ухудшиться, если персонаж закрыт объектами на переднем плане в кадре.

Процесс создания 3D модели с помощью PIFU начинается с загрузки фотографии человека в специальную программу для обработки изображений. Затем программа использует алгоритмы машинного обучения для анализа формы и пропорций лица на фотографии. На основе этих данных создается геометрическая модель, которая затем преобразуется в 3D модель.

Ключевой функциональностью Maya Assist является ее способность понимать и выполнять текстовые команды, будь то изменение размера объектов, дублирование элементов или настройка ракурсов камеры. Maya Assist стремится упростить эти операции и также может выполнять более сложные задачи, такие как создание и анимация персонажей, добавление источников света и камер, а также применение материалов и текстур.

ICON – революционная нейронная сеть, которая меняет традиционные методы создания трехмерных аватаров. В отличие от существующих методов, которые требуют либо постановочного 3D-сканирования, либо тщательно контролируемых двумерных изображений, ICON может создавать реалистичные 3D аватары из неограниченного количества реальных положений человека, используя только стандартные фотографии. ICON – Implicit Clothed humans Obtained from Normals (Неявные одетые люди, полученные от нормальных людей)

Maya от Autodesk установила новый стандарт в области 3D-моделирования и анимации, анонсировав Maya Assist, плагин на базе искусственного интеллекта, призванный совершить революцию в способах взаимодействия художников с Maya. Используя службу Microsoft Azure OpenAI, Maya Assist позволит пользователям выполнять манипуляции в сцене, используя текстовые промпты. Это означает, что задачи, требующие многочисленных действий и корректировок, теперь можно выполнять с помощью простых команд.

Специалисты OpenAI обучили нейросеть Point-E создавать 3D-модели на массиве данных состоявшего из нескольких миллионов 3D объектов. В компании продолжат обучение алгоритмов, а также будут работать над тем, чтобы повысить качество детализации генерируемых моделей.

По своей сути Большая Гауссова Модель — это тип нейронной сети, которая может обучаться и генерировать сложные трехмерные фигуры на основе простых входных параметров. По сути, она действует как своего рода цифровой скульптор или художник, используя вероятности и статистику, чтобы заполнить пробелы между известными точками данных и создать связное, цельное целое. В одной из недавних демонстраций исследователи использовали Большую Гауссову Модель для создания детальных реконструкций целых зданий всего лишь из нескольких фотографий, сделанных под разными углами. Анализируя закономерности и особенности, общие для нескольких изображений, модель смогла заполнить недостающие детали и создать полное и точное представление экстерьера здания.