Как встроить Stable Diffusion в Adobe Photoshop

На что способен инструмент Generative Fill и где его можно применять

Теперь попробуем поменять жениху серый пиджак на красную куртку. Увы, тоже безрезультатно. На некоторых результатах рука остаётся на месте, на некоторых появилась вторая рука в кармане куртки, но вот сама куртка так осталась серой. Максимум, чего удалось добиться за 10 минут — красная окантовка и несколько красных заплаток:

Теперь городские виды. Нейросеть Adobe нарисовала Москву на закате, парижскую улицу, Нью-Йорк с автомобильными пробками и русскую деревню зимой. Города узнаваемы (хотя вряд ли в них есть места, выглядящие точно так) и если отойти подальше от монитора, результат генерации можно даже принять за фотографию.

Generative Fill/Генеративная заливка — это новый инструмент, позволяющий работать с нейросетями прямо из Adobe Photoshop. Сейчас он доступен только в бета-версиях Adobe Photoshop, начиная с версии 24.6. В качестве нейросети для работы с изображениями используется собственная разработка Adobe — искусственный интеллект Adobe Firefly, обученный на изображениях из фотобанка Adobe Stock.

Ещё была попытка поменять фон, оставив людей нетронутыми. Выделяем их командой Select Subject/выделить предмет, инвертируем выделение комбинацией клавиш CTRL+SHIFT+I, и запускаем нейросеть с запросом «deep forest, old trees, sunset». Увы, никакого леса не вышло — генерация завершилась ошибкой и жалобой на нехватку видеопамяти.

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

Нейросеть справилась на удивление хорошо, восстановив форму тарелки. Если не вглядываться в детали, то всё выглядит вполне прилично. Но если присмотреться, то видны погрешности. Доски справа отличаются более грубой текстурой, а зелень и овощи выглядят размытыми и не очень детализированными при 100% увеличении.

Удаление или замена частей фотографии с помощью Generative Fill

Работать с новым инструментом проще всего на новой плавающей панели инструментов. Но если открыть изображение в редакторе и посмотреть на панель, никакой генеративной заливки на ней не будет — вместо этого там будут кнопки Выделить предмет и Удалить фон.

А вот для генерации новых картинок Generative Fill подходит плохо. Тем, кто хочет генерировать красивые фотореалистичные картинки с минимумом усилий, лучше подойдёт Midjourney. А для любителей всё настраивать, устанавливать расширения и экспериментировать с разными стилями и моделями есть Stable Diffusion.

В таком случае есть другой способ установки, который сработает с любой более-менее актуальной версией фоторедактора. Нужно переименовать скачанный файл с плагином (он называется stable.art_0.0.1.ccx), и заменить расширение с .ccx на .zip — после этого просто распаковываем получившийся архив в папку с плагинами Photoshop (например, для 23 версии путь по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins).

Полностью выполнить работу за профессионального ретушёра нейросеть пока не может, но вот помочь ему и ускорить работу вполне способна. Ну а тем, у кого не такие высокие требования к качеству, новый инструмент может полностью заменить отдельного специалиста по ретуши: с его помощью можно доработать фото для соцсетей или улучшить фотографии из отпуска.

В режиме inpaint Stable Diffusion должен учитывать окружение, и сгенерированная часть должна выписываться в остальную картинку. Пробуем открыть глаза невесте, переключившись в inpaint — действительно, вместо шума на месте глаз появляются новые глаза, они неплохо вписываются в исходное фото. Проблема только одна: эти глаза остались закрытыми:

Если же нужно нарисовать на добавленном куске картинки что-то конкретное, придётся использовать поле для описания. Мысли Photoshop читать пока не умеет. Например, можно дорисовать небо к фотографии какого-то восточного города. Для этого в поле описания вбиваем Blue sky with clouds (синее небо с облаками) и нажимаем «Генерировать».

Итоги

Иногда Photoshop справляется, и человек получается более-менее верным анатомически. Но результат всё равно выглядит слабым и малопригодным для практического использования. Вот так выглядит профессиональное фото ребёнка в саду на закате по мнению Adobe (слева) и Midjourney v5 (справа):

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая.

Режим txt2img проще всего: создаём новое изображение, вводим описание и жмём кнопку «Generate». Если хочется сгенерировать сразу несколько картинок и выбрать лучший вариант, открываем «Advanced Settings» и ставим нужное количество (за раз можно создать до 8 картинок).

Если же сравнивать плагин с веб-интерфейсом Stable Diffusion, то плагину очень не хватает множества дополнительных настроек, скриптов и расширений, которые можно использовать в веб-версии. И стоит отметить, что при использовании плагина нейросеть гораздо чаще жаловалась на нехватку видеопамяти, чем при работе через браузер.

Если нажать на неё, появится область для ввода запроса. Традиционно, нейросеть понимает запросы только на английском языке. Давайте добавим на пустое выделенное место тарелку спагетти. В поле описания пишем Plate with spaghetti, жмём «Генерировать» и получаем довольно реалистичную тарелку еды. Генерация занимает 10-15 секунд. По стилю новая тарелка неплохо вписалась в оригинальное изображение.

Удалять лишнее с изображения Generative Fill тоже умеет, для этого тоже используется генерация с пустым запросом. Очень удобно с помощью нового инструмента очищать фотографии от лишних людей. Там, где ретушёру со штампом и лечащей кистью понадобится час-два работы, нейросеть справится за пару минут (причём основная часть времени уйдёт на то, чтобы выбрать лучший результат).

1. Зайдите на сайт Creative Cloud. Если у вас нет учетной записи Adobe — пройдите простую процедуру регистрацию (можно зарегистрироваться при помощи вашей почты Google). Если сайт Creative Cloud не открывается, то попробуйте включить VPN (рекомендуем воспользоваться Psiphon). После регистрации нажмите кнопку «Загрузить».

Новый нейросетевой инструмент Generative Fill в первую очередь предназначен для работы с уже существующими фотографиями. Он может что-то поменять, дорисовать или убрать с фото, и делает это с хорошей степенью фотореализма, соблюдая общий стиль изображения и корректно работая с ГРИП в большинстве случаев.