Генеративная заливка в «Фотошопе»: как пользоваться нейросетью, которая дорисовывает картинки

На что способен инструмент Generative Fill и где его можно применять

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

Работать с новым инструментом проще всего на новой плавающей панели инструментов. Но если открыть изображение в редакторе и посмотреть на панель, никакой генеративной заливки на ней не будет — вместо этого там будут кнопки Выделить предмет и Удалить фон.

Нажмите кнопку «Генеративная заливка». Оставьте поле подсказки пустым — так нейросеть по максимуму сохранит изначальный стиль изображения. Учтите: чем больше алгоритму придется додумывать, тем больше ошибок может проявиться. Помните об этом при расширении границ.

Генерация изображений принципиально ничем не отличается от работы в веб-интерфейсе нейросети, а сам интерфейс плагина похож на простые сборки Stable Diffusion — например, на Easy Diffusion. Доступна генерация с нуля по текстовому запросу (txt2img), генерации новых картинок на основе открытого в фотошопе изображения (img2img) и замена выделенных частей изображения (inpaint). Режимы переключаются с помощью трёх кнопок внизу плагина.

В таком случае есть другой способ установки, который сработает с любой более-менее актуальной версией фоторедактора. Нужно переименовать скачанный файл с плагином (он называется stable.art_0.0.1.ccx), и заменить расширение с .ccx на .zip — после этого просто распаковываем получившийся архив в папку с плагинами Photoshop (например, для 23 версии путь по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins).

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

Удалять лишнее с изображения Generative Fill тоже умеет, для этого тоже используется генерация с пустым запросом. Очень удобно с помощью нового инструмента очищать фотографии от лишних людей. Там, где ретушёру со штампом и лечащей кистью понадобится час-два работы, нейросеть справится за пару минут (причём основная часть времени уйдёт на то, чтобы выбрать лучший результат).

Важный момент: для работы Generative Fill необходимо подтвердить, что пользователю больше 18 лет. Если при регистрации не указана дата рождения, нужно будет зайти в учётную запись Adobe (или на сайт Behance с учётной записью Adobe) и ввести там дату рождения. Если же вместо регистрации в Adobe использовалась кнопка «войти через Google», стоит проверить свой аккаунт Google: в нём должна быть указана дата рождения и она должна быть видна всем.

Как пользоваться Generative Fill в «Фотошопе»

После того, как нейросеть установлена, понадобится внести небольшие изменения в файл web ui-user.bat (он используется для запуска Stable Diffusion и находится в папке с установленной нейросетью). Открываем его с помощью Блокнота, находим строчку set COMMANDLINE_ARGS и добавляем в конец строки —–api. Всё готово, можно запускать нейросеть и Adobe Photoshop.

Это обновление — первая стадия полноценного внедрения нейросетей в продукты Adobe. У компании есть собственная ИИ-модель Firefly, но ее функции открывают пользователям постепенно. Начали с «Фотошопа» и Generative Fill — «Генеративной заливки» в русской локализации.

Generative Fill/Генеративная заливка — это новый инструмент, позволяющий работать с нейросетями прямо из Adobe Photoshop. Сейчас он доступен только в бета-версиях Adobe Photoshop, начиная с версии 24.6. В качестве нейросети для работы с изображениями используется собственная разработка Adobe — искусственный интеллект Adobe Firefly, обученный на изображениях из фотобанка Adobe Stock.

😡 При добавлении объектов часто теряется стиль. Новые элементы ощущаются слишком стоковыми. Где-то это выглядит уместно. Но когда я хочу сменить ночное небо на звездное — сразу же получается нереалистично. Добавил на него самолет — и сразу вспомнил времена очень корявой вставки рандомных объектов в «Фотошопе».

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая.

Теперь попробуем поменять жениху серый пиджак на красную куртку. Увы, тоже безрезультатно. На некоторых результатах рука остаётся на месте, на некоторых появилась вторая рука в кармане куртки, но вот сама куртка так осталась серой. Максимум, чего удалось добиться за 10 минут — красная окантовка и несколько красных заплаток:

Что у «Генеративной заливки» получается хорошо, а что — не очень

В режиме img2img можно использовать открытую в Adobe Photoshop картинку в качестве основы для генерации. Нейросеть попытается создать картинку по запросу, сохраняя цвета и композицию оригинала. Например, с помощью этой вкладки можно превратить фотографию в картину маслом. Работает нейросеть только в выделенной области (как и Generative Fill от Adobe), так что перед началом генерации нужно выделить либо всё изображение командой CTRL+A, либо его часть.

Чтобы карту не просили, нужно идти другим путём. Для начала нужно скачать приложение Adobe Creative Cloud с сайта Adobe вот по этой ссылке. После этого войти в аккаунт Adobe или зарегистрировать новый и запустить Creative Cloud. В открывшемся окне найти раздел с бета-приложениями и установить бета-версию Photoshop. В этом случае никаких банковских данных не попросят, и можно будет начать пробный период.

Если же нужно нарисовать на добавленном куске картинки что-то конкретное, придётся использовать поле для описания. Мысли Photoshop читать пока не умеет. Например, можно дорисовать небо к фотографии какого-то восточного города. Для этого в поле описания вбиваем Blue sky with clouds (синее небо с облаками) и нажимаем «Генерировать».

Полностью выполнить работу за профессионального ретушёра нейросеть пока не может, но вот помочь ему и ускорить работу вполне способна. Ну а тем, у кого не такие высокие требования к качеству, новый инструмент может полностью заменить отдельного специалиста по ретуши: с его помощью можно доработать фото для соцсетей или улучшить фотографии из отпуска.

Ещё была попытка поменять фон, оставив людей нетронутыми. Выделяем их командой Select Subject/выделить предмет, инвертируем выделение комбинацией клавиш CTRL+SHIFT+I, и запускаем нейросеть с запросом «deep forest, old trees, sunset». Увы, никакого леса не вышло — генерация завершилась ошибкой и жалобой на нехватку видеопамяти.

Нейросеть справилась на удивление хорошо, восстановив форму тарелки. Если не вглядываться в детали, то всё выглядит вполне прилично. Но если присмотреться, то видны погрешности. Доски справа отличаются более грубой текстурой, а зелень и овощи выглядят размытыми и не очень детализированными при 100% увеличении.