Как встроить Stable Diffusion в Adobe Photoshop

Generative Fill — что это?

Для начала нужно скачать плагин для фотошопа. Находится он традиционно на Гитхабе, вот тут. После этого автор плагина предлагает открыть Adobe Creative Cloud, убедиться, что на компьютере стоит самая свежая версия Adobe Photoshop, и установить плагин двойным щелчком мыша. В случае, если у вас установлен самый свежий и самый лицензионный фотошоп, этот метод должен сработать. Если же нет, появится сообщение об ошибке.

В Adobe отметили, что опция была разработана не только для ускорения процесса работы и упрощения процесса создания новых проектов. Она, прежде всего, должна стать вдохновением для дизайнеров и других профессионалов, которые используют Фотошоп в своей деятельности. Все функции работают на базе Adobe из сервиса Firefly, нового семейства самых гибких моделей ИИ для творчества, разработанного для безопасного и качественного коммерческого использования.

Теперь нужно убедиться, что на компьютере есть подходящая версия версия Stable Diffusion (сам по себе установленный плагин не содержит в себе нейросети, а лишь обеспечивает связь с ней и даёт возможность работать с запущенной нейросетью прямо из окна фоторедактора). Для работы понадобится сборка на основе AUTOMATIC1111 (например, Portable Stable Diffusion — о том, как её установить и использовать можно почитать вот тут).

Генерация изображений принципиально ничем не отличается от работы в веб-интерфейсе нейросети, а сам интерфейс плагина похож на простые сборки Stable Diffusion — например, на Easy Diffusion. Доступна генерация с нуля по текстовому запросу (txt2img), генерации новых картинок на основе открытого в фотошопе изображения (img2img) и замена выделенных частей изображения (inpaint). Режимы переключаются с помощью трёх кнопок внизу плагина.

По идее, если режим img2img позволяет работать с выделенной областью изображения, то его же можно использовать для мелких коррекций изображения — например, открыть глаза моргнувшему человеку. Но нет, это не работает. Нейросеть в режиме img2img полностью игнорирует всё за пределами выделения, и если выделенный фрагмент очень маленький, генерация больше похожа просто на случайный шум. Для такой работы предназначен последний из трёх режимов — inpaint

Если же сравнивать плагин с веб-интерфейсом Stable Diffusion, то плагину очень не хватает множества дополнительных настроек, скриптов и расширений, которые можно использовать в веб-версии. И стоит отметить, что при использовании плагина нейросеть гораздо чаще жаловалась на нехватку видеопамяти, чем при работе через браузер.

Создание фона

В режиме img2img можно использовать открытую в Adobe Photoshop картинку в качестве основы для генерации. Нейросеть попытается создать картинку по запросу, сохраняя цвета и композицию оригинала. Например, с помощью этой вкладки можно превратить фотографию в картину маслом. Работает нейросеть только в выделенной области (как и Generative Fill от Adobe), так что перед началом генерации нужно выделить либо всё изображение командой CTRL+A, либо его часть.

Теперь попробуем поменять жениху серый пиджак на красную куртку. Увы, тоже безрезультатно. На некоторых результатах рука остаётся на месте, на некоторых появилась вторая рука в кармане куртки, но вот сама куртка так осталась серой. Максимум, чего удалось добиться за 10 минут — красная окантовка и несколько красных заплаток:

После запуска редактора, в меню Plugins/Подключаемые модули появится плагин Stable.art, а при его запуске откроется панель для взаимодействия с нейросетью с уже знакомыми пользователям Stable Diffusion полями. В них можно выбрать модель для генерации (при условии, что у вас их несколько), ввести описание в поля Promt и Negative Promt, и задать количество шагов генерации.

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

Ещё была попытка поменять фон, оставив людей нетронутыми. Выделяем их командой Select Subject/выделить предмет, инвертируем выделение комбинацией клавиш CTRL+SHIFT+I, и запускаем нейросеть с запросом «deep forest, old trees, sunset». Увы, никакого леса не вышло — генерация завершилась ошибкой и жалобой на нехватку видеопамяти.

Обучение нейросети происходило довольно долго — для этого использовали более миллиона изображений с высоким качеством. Adobe уверяет, что все они прошли проверку на соответствие лицензии. Это значит, что Generative Fill не создаёт работы на основе имеющихся в доступе, доступных в базе файлов. Данный пункт особенно важен для тех, кто использует Фотошоп для работы над коммерческими проектами, сайтами — заказчик вправе знать, что в макетах или страницах нет файлов, нарушающих право собственности. Сюда же относится и конфиденциальность.