Как нейросети упрощают работу с 2D- и 3D-графикой

Автоматизация рутины

Одно из практических применений таких инструментов — улучшение текстур в старых играх. Апскейл хорошо работает, например, в играх с пререндерёнными фонами, значительно улучшая их вид. Поклонники ретро-игр часто прибегают к помощи нейросетей, чтобы дать вторую жизнь любимой классике.

Если повезёт, файлы текстур будут находиться в отдельной папке в виде обычных изображений. Иногда данные могут иметь формат, специфичный для движка игры. В этом случае они, скорее всего, будут сжаты и собраны в один или несколько файлов. Если выбранная вами игра была достаточно популярна, то фанаты и модеры наверняка уже нашли способы извлечь из неё всё необходимое. Поищите информацию в интернете — там точно найдется подходящее руководство. В Warcraft 3, например, текстуры хранятся в виде .blp-файлов, которые можно сконвертировать в JPG или PNG и обратно.

Помимо Midjourney существует множество других инструментов, которые художники и дизайнеры используют для создания изображений. Например, Kandinsky от Сбера, Шедеврум от Яндекс, AI Playground от Intel, Amuse от AMD, DALL-E, DeepDream, NightCafe, LeonardoAI и другие.

Метод использует глубокие свёрточные нейронные сети для масштабирования изображений в 1.6 или 2 раза. Ссылка выше позволит работать прямо в браузере, но вы можете настроить модель, скачав её с GitHub. Нейросеть обучена на изображениях в стиле аниме, поэтому больше подходит для мультипликационных текстур.

Мы в DigitalRazor тоже используем нейронные сети. С их помощью создаём арты для винилографии. Которые затем дорабатываем силами дизайнеров, масштабируем, примеряем на 3D-макеты, печатаем выкройки и наносим плёнку с принтами на корпуса ПК, игровые консоли, компьютерные комплектующие и другие предметы. Больше примеров наших работ можно посмотреть вот здесь.

RTX VSR (Video Super Resolution) — технология повышения разрешения видео, которая использует ИИ-алгоритмы для увеличения чёткости и детализации в реальном времени. С её помощью можно улучшить качество просматриваемого контента с 1080p до 4К прямо в браузере, будь то Twitch, YouTube, Netflix или другие стриминговые платформы.

Pixel Cut

Многим нейронным сетям для обучения нужны высокопроизводительные видеокарты. Чаще всего для этого не достаточно обычных графических процессоров, установленных в персональных компьютерах. Поэтому лучше всего воспользоваться нашими облачными серверами с мощными GPU NVIDIA Tesla V100, которые в несколько раз ускоряют обучение популярных нейросетей.

Бывало ли с вами такое: вы решили скачать любимую компьютерную игру детства и ненадолго погрузиться в счастливые воспоминания. Установили её, запустили, но… Графика 20-летней давности выглядит, мягко говоря, неактуально. Наша новая статья поможет решить эту проблему: мы расскажем, как улучшить текстуры в играх и видео с помощью нейросетей.

Нейросети давно работают не только с изображениями, но и с видео. Существует несколько платформ, созданных специально для выполнения таких задач. Например, Adobe Premiere Pro с технологией Adobe Sensei, Gigapixel Video AI, DVDFab Enlarger AI, RTX VSR от Nvidia и другие.

Интерфейс интуитивно понятен, поэтому не нужно обращаться к командной строке или изучать сложные настройки. Кроме того, Amuse 2.0 имеет встроенный апскейлер AMD XDNA Super Resolution, который ускоряет процесс вывода изображений и при необходимости увеличивает их разрешение в два раза.

Это самый сложный этап: чтобы найти подходящую нейросеть, вам нужно поэкспериментировать с разными решениями и настройками. Если вы преданы своему делу, можете выбрать и самостоятельно обучить модель на основе одного из популярных алгоритмов. Но проще взять готовую предварительно обученную архитектуру. Предлагаем несколько наиболее известных.

Не путайте RTX Video Super Resolution с DLSS (Deep Learning Super Sampling). Последняя улучшает качество и производительность игр. Это две разные технологии. RTX VSR дорисовывает кадры на основе входного материала низкого разрешения и работает исключительно с видеоконтентом. DLSS же для генерации кадров использует данные игрового движка и не предназначена для работы с видео.

Лучше выбрать игру начала 2000-х годов и старше, поскольку для более новых предлагаемые методы, скорее всего, окажутся бесполезными. Это может быть 3D или 2D-игра со спрайтами низкого разрешения (спрайт — графический объект в компьютерной графике). Апскейлинг обычно хорошо работает в играх с около-реалистичной графикой (не рисованной), которая не выглядела реалистично из-за аппаратных ограничений того времени. Текстуры таких игр могли содержать много деталей, но из-за маленького разрешения экранов не было смысла делать их более качественными. Современные мониторы имеют высокое разрешение, поэтому мы можем использовать методы машинного обучения для улучшения текстур.

Представьте, что вы работаете над новым визуальным продуктом. Вам нужно быстро создать несколько прототипов или набросков для обсуждения с командой или заказчиком. Раньше на это уходило много времени, сейчас же, при грамотной работе с нейросетями, результата можно добиться гораздо быстрее.

Fotor

Модель применяет генеративно-состязательные сети для увеличения разрешения изображений в 4 раза. Мы писали о её более ранней версии. Она была создана, чтобы работать на реальных фотографиях, поэтому хорошо подойдёт для детализированных текстур. В этом посте вы найдёте руководство по её использованию в Windows.

Процесс повышения разрешения и качества цифрового изображения или видео называется апскейлинг. Предлагаемые способы отличаются от алгоритмов вроде «метода ближайших соседей», поскольку могут создавать дополнительные детали текстуры с эффектом увеличения резкости, но для их работы требуется довольно большая вычислительная мощность.

Нейросети предлагают профессионалам всё новые и новые возможности для ускорения и упрощения их работы. Давайте будем честны: они никогда не смогут полностью заменить человеческий труд. Но станут полезным инструментом, который позволяет сосредоточиться на более творческих задачах, оставив рутину машинам. Уже сейчас важно начинать изучать работу с нейросетями, чтобы в будущем оставаться востребованным и эффективным.

На сегодняшний день умение грамотно формулировать и составлять промпты — важнейший навык любого дизайнера, иллюстратора или художника. Правильно составленный запрос ускоряет процесс получения нужного результата в несколько раз. В индустрии всё более востребованными становятся промпт-инженеры, которые умеют работать с нейросетями на высоком уровне. Одним из ярких примеров нейросети для создания изображений является проект Midjourney.

Следует учесть, что результаты повышения разрешения могут отличаться у разных моделей. Единственный способ найти лучшее решение — экспериментировать. Возможно, вам придётся изменить изображения до или после обработки, например, вручную исправить некоторые артефакты. Дерзайте и наслаждайтесь красивой графикой!

Также рекомендуем использовать операционную систему на базе Linux. Это не всегда необходимо, но если вы планируете и дальше осваивать эту область, то можете установить, например, одну из последних версий Ubuntu. Большинство нейросетей и руководств к ним разрабатываются на Linux.

Нейросети для апскейлинга позволяют улучшить качество кат-сцен в играх или увеличить разрешение старых кинофильмов. Например, не так давно пользователь сайта «Хабрахабр» повысил разрешение мультфильма «Тайна третьей планеты» до 720P. Вы можете попробовать запустить скрипт для покадрового улучшения качества видео с помощью ESRGAN или скачать проект video2x (для Windows), использующий Waifu2x.

Нейросети делают жизнь проще: обрабатывают фотографии, увеличивают их разрешение, убирают лишнее. Алгоритмы на основе машинного обучения позволяют автоматически и за пару кликов сделать то, на что раньше уходили силы и время. Вот полезные сервисы, которые можно использовать для обработки и улучшения фото и изображений.