Generative Fill в Photoshop — как пользоваться и что умеет ИИ-помощник

На что способен инструмент Generative Fill и где его можно применять

Удалять лишнее с изображения Generative Fill тоже умеет, для этого тоже используется генерация с пустым запросом. Очень удобно с помощью нового инструмента очищать фотографии от лишних людей. Там, где ретушёру со штампом и лечащей кистью понадобится час-два работы, нейросеть справится за пару минут (причём основная часть времени уйдёт на то, чтобы выбрать лучший результат).

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая.

С дорисовкой изображения искусственный интеллект от Adobe справляется очень хорошо. Нейросеть позволяет «заглянуть за край» изображения и восстановить то, что фотограф (или художник) оставил за кадром. В большинстве случаев, если вы не хотите нарисовать что-то конкретное, поле для описания можно оставить пустым. Достаточно увеличить размер холста, выделить пустое место и Photoshop сам заполнит его.

Режим txt2img проще всего: создаём новое изображение, вводим описание и жмём кнопку «Generate». Если хочется сгенерировать сразу несколько картинок и выбрать лучший вариант, открываем «Advanced Settings» и ставим нужное количество (за раз можно создать до 8 картинок).

Замена окружения: перемещаем объект в другое место с помощью Generative Fill

В таком случае есть другой способ установки, который сработает с любой более-менее актуальной версией фоторедактора. Нужно переименовать скачанный файл с плагином (он называется stable.art_0.0.1.ccx), и заменить расширение с .ccx на .zip — после этого просто распаковываем получившийся архив в папку с плагинами Photoshop (например, для 23 версии путь по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins).

После того, как нейросеть установлена, понадобится внести небольшие изменения в файл web ui-user.bat (он используется для запуска Stable Diffusion и находится в папке с установленной нейросетью). Открываем его с помощью Блокнота, находим строчку set COMMANDLINE_ARGS и добавляем в конец строки —–api. Всё готово, можно запускать нейросеть и Adobe Photoshop.

Если нажать на неё, появится область для ввода запроса. Традиционно, нейросеть понимает запросы только на английском языке. Давайте добавим на пустое выделенное место тарелку спагетти. В поле описания пишем Plate with spaghetti, жмём «Генерировать» и получаем довольно реалистичную тарелку еды. Генерация занимает 10-15 секунд. По стилю новая тарелка неплохо вписалась в оригинальное изображение.

Для начала нужно скачать плагин для фотошопа. Находится он традиционно на Гитхабе, вот тут. После этого автор плагина предлагает открыть Adobe Creative Cloud, убедиться, что на компьютере стоит самая свежая версия Adobe Photoshop, и установить плагин двойным щелчком мыша. В случае, если у вас установлен самый свежий и самый лицензионный фотошоп, этот метод должен сработать. Если же нет, появится сообщение об ошибке.

Иногда Photoshop справляется, и человек получается более-менее верным анатомически. Но результат всё равно выглядит слабым и малопригодным для практического использования. Вот так выглядит профессиональное фото ребёнка в саду на закате по мнению Adobe (слева) и Midjourney v5 (справа):

В режиме img2img можно использовать открытую в Adobe Photoshop картинку в качестве основы для генерации. Нейросеть попытается создать картинку по запросу, сохраняя цвета и композицию оригинала. Например, с помощью этой вкладки можно превратить фотографию в картину маслом. Работает нейросеть только в выделенной области (как и Generative Fill от Adobe), так что перед началом генерации нужно выделить либо всё изображение командой CTRL+A, либо его часть.

По идее, если режим img2img позволяет работать с выделенной областью изображения, то его же можно использовать для мелких коррекций изображения — например, открыть глаза моргнувшему человеку. Но нет, это не работает. Нейросеть в режиме img2img полностью игнорирует всё за пределами выделения, и если выделенный фрагмент очень маленький, генерация больше похожа просто на случайный шум. Для такой работы предназначен последний из трёх режимов — inpaint

Новый нейросетевой инструмент Generative Fill в первую очередь предназначен для работы с уже существующими фотографиями. Он может что-то поменять, дорисовать или убрать с фото, и делает это с хорошей степенью фотореализма, соблюдая общий стиль изображения и корректно работая с ГРИП в большинстве случаев.