Как встроить Stable Diffusion в Adobe Photoshop

Несмотря на появившийся в свежих версиях Adobe Photoshop нейросетевой инструмент Generative Fill, не все хотят (или не могут) его использовать. У кого-то не получается оплатить российской картой, кому-то хочется большей свободы в генерациях (например, некоторые диджитал-художники жалуются, что инструмент Adobe не позволяет создавать иллюстрации для ужастиков). В этом случае можно использовать открытую нейросеть Stable Diffusion. Сегодня посмотрим, как с помощью плагина подключить Stable Diffusion к Adobe Photoshop и работать с ней прямо из фоторедактора.

Update 3 — Adobe Firefly обновился до версии 24.7.0.2205, никаких проблем в работе нет, можете ставить поверх фотошопа бета версии с кряком либо просто ставить на 24.6 редакцию не важно, все работает отлично, от вас требуется просто распаковать и запустить сам файл, далее наслаждаемся нейросетью бесплатно

Генерация изображений принципиально ничем не отличается от работы в веб-интерфейсе нейросети, а сам интерфейс плагина похож на простые сборки Stable Diffusion — например, на Easy Diffusion. Доступна генерация с нуля по текстовому запросу (txt2img), генерации новых картинок на основе открытого в фотошопе изображения (img2img) и замена выделенных частей изображения (inpaint). Режимы переключаются с помощью трёх кнопок внизу плагина.

Режим txt2img проще всего: создаём новое изображение, вводим описание и жмём кнопку «Generate». Если хочется сгенерировать сразу несколько картинок и выбрать лучший вариант, открываем «Advanced Settings» и ставим нужное количество (за раз можно создать до 8 картинок).

Update 4 — Adobe Firefly вновь обновился, теперь он доступен для работы с Фотошопом 24.7 — ссылка активная вверху, скачиваем и пользуемся бесплатно без проблем и лишней активации, вы сможете получить фотошоп с нейросетью без необходимости выполнять лишние телодвижения, практически автоматически вы получите в последней версии Photoshop 24.7 нейросеть ИИ, пользуемся!

FAQ — все вопросы и ответы связанные с проблемами и работой можно прочитать по этой ссылке

В режиме img2img можно использовать открытую в Adobe Photoshop картинку в качестве основы для генерации. Нейросеть попытается создать картинку по запросу, сохраняя цвета и композицию оригинала. Например, с помощью этой вкладки можно превратить фотографию в картину маслом. Работает нейросеть только в выделенной области (как и Generative Fill от Adobe), так что перед началом генерации нужно выделить либо всё изображение командой CTRL+A, либо его часть.

Для начала нужно скачать плагин для фотошопа. Находится он традиционно на Гитхабе, вот тут. После этого автор плагина предлагает открыть Adobe Creative Cloud, убедиться, что на компьютере стоит самая свежая версия Adobe Photoshop, и установить плагин двойным щелчком мыша. В случае, если у вас установлен самый свежий и самый лицензионный фотошоп, этот метод должен сработать. Если же нет, появится сообщение об ошибке.

Войдите в мир инновационного цифрового творчества с Adobe Firefly, необыкновенным набором генеративных моделей искусственного интеллекта, разработанным компанией Адобе специально для пакета Creative Cloud. Благодаря своим замечательным возможностям софт позволяет пользователям без труда создавать захватывающие эффекты для изображений и текста, обеспечивая при этом бесшовную интеграцию в Adobe Photoshop.

После запуска редактора, в меню Plugins/Подключаемые модули появится плагин Stable.art, а при его запуске откроется панель для взаимодействия с нейросетью с уже знакомыми пользователям Stable Diffusion полями. В них можно выбрать модель для генерации (при условии, что у вас их несколько), ввести описание в поля Promt и Negative Promt, и задать количество шагов генерации.

По идее, если режим img2img позволяет работать с выделенной областью изображения, то его же можно использовать для мелких коррекций изображения — например, открыть глаза моргнувшему человеку. Но нет, это не работает. Нейросеть в режиме img2img полностью игнорирует всё за пределами выделения, и если выделенный фрагмент очень маленький, генерация больше похожа просто на случайный шум. Для такой работы предназначен последний из трёх режимов — inpaint

Программа работает только на Виндовс x64, активация Adobe Firefly кряком или через ключ регистрации отдельно не требуется, перед вами полный релиз, который уже готов к работе, вам надо просто распаковать архив, запустить исполняемый файл, далее надо ждать сообщение о том, что добавлена поддержка программы, на этом все, можете запускать фотошоп и радоваться тому, какие эффекты и настройки редактирования вам теперь доступны, просто шикарно.

В режиме inpaint Stable Diffusion должен учитывать окружение, и сгенерированная часть должна выписываться в остальную картинку. Пробуем открыть глаза невесте, переключившись в inpaint — действительно, вместо шума на месте глаз появляются новые глаза, они неплохо вписываются в исходное фото. Проблема только одна: эти глаза остались закрытыми: