Как встроить Stable Diffusion в Adobe Photoshop

Как включить нейросеть в фотошопе?

После того, как нейросеть установлена, понадобится внести небольшие изменения в файл web ui-user.bat (он используется для запуска Stable Diffusion и находится в папке с установленной нейросетью). Открываем его с помощью Блокнота, находим строчку set COMMANDLINE_ARGS и добавляем в конец строки —–api. Всё готово, можно запускать нейросеть и Adobe Photoshop.

Обучение нейросети происходило довольно долго — для этого использовали более миллиона изображений с высоким качеством. Adobe уверяет, что все они прошли проверку на соответствие лицензии. Это значит, что Generative Fill не создаёт работы на основе имеющихся в доступе, доступных в базе файлов. Данный пункт особенно важен для тех, кто использует Фотошоп для работы над коммерческими проектами, сайтами — заказчик вправе знать, что в макетах или страницах нет файлов, нарушающих право собственности. Сюда же относится и конфиденциальность.

После запуска редактора, в меню Plugins/Подключаемые модули появится плагин Stable.art, а при его запуске откроется панель для взаимодействия с нейросетью с уже знакомыми пользователям Stable Diffusion полями. В них можно выбрать модель для генерации (при условии, что у вас их несколько), ввести описание в поля Promt и Negative Promt, и задать количество шагов генерации.

В режиме img2img можно использовать открытую в Adobe Photoshop картинку в качестве основы для генерации. Нейросеть попытается создать картинку по запросу, сохраняя цвета и композицию оригинала. Например, с помощью этой вкладки можно превратить фотографию в картину маслом. Работает нейросеть только в выделенной области (как и Generative Fill от Adobe), так что перед началом генерации нужно выделить либо всё изображение командой CTRL+A, либо его часть.

В режиме inpaint Stable Diffusion должен учитывать окружение, и сгенерированная часть должна выписываться в остальную картинку. Пробуем открыть глаза невесте, переключившись в inpaint — действительно, вместо шума на месте глаз появляются новые глаза, они неплохо вписываются в исходное фото. Проблема только одна: эти глаза остались закрытыми:

Теперь нужно убедиться, что на компьютере есть подходящая версия версия Stable Diffusion (сам по себе установленный плагин не содержит в себе нейросети, а лишь обеспечивает связь с ней и даёт возможность работать с запущенной нейросетью прямо из окна фоторедактора). Для работы понадобится сборка на основе AUTOMATIC1111 (например, Portable Stable Diffusion — о том, как её установить и использовать можно почитать вот тут).

Удаление

Ещё была попытка поменять фон, оставив людей нетронутыми. Выделяем их командой Select Subject/выделить предмет, инвертируем выделение комбинацией клавиш CTRL+SHIFT+I, и запускаем нейросеть с запросом «deep forest, old trees, sunset». Увы, никакого леса не вышло — генерация завершилась ошибкой и жалобой на нехватку видеопамяти.

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

По идее, если режим img2img позволяет работать с выделенной областью изображения, то его же можно использовать для мелких коррекций изображения — например, открыть глаза моргнувшему человеку. Но нет, это не работает. Нейросеть в режиме img2img полностью игнорирует всё за пределами выделения, и если выделенный фрагмент очень маленький, генерация больше похожа просто на случайный шум. Для такой работы предназначен последний из трёх режимов — inpaint

Создатели инструмента Generative Fill или «Генеративная заливка» предлагают испытать будущее. Вы можете попробовать его в работе для расширения изображений, создания новых объектов и удаления ненужных деталей. Adobe решили добавить в программу режим, разработанный на базе искусственного интеллекта. Но пока что он доступен только в бета-версии. Теперь не обязательно скачивать дополнительные расширения для работы с нейросетью в Фотошоп — всё находится под рукой.

Если же сравнивать плагин с веб-интерфейсом Stable Diffusion, то плагину очень не хватает множества дополнительных настроек, скриптов и расширений, которые можно использовать в веб-версии. И стоит отметить, что при использовании плагина нейросеть гораздо чаще жаловалась на нехватку видеопамяти, чем при работе через браузер.

Для начала нужно скачать плагин для фотошопа. Находится он традиционно на Гитхабе, вот тут. После этого автор плагина предлагает открыть Adobe Creative Cloud, убедиться, что на компьютере стоит самая свежая версия Adobe Photoshop, и установить плагин двойным щелчком мыша. В случае, если у вас установлен самый свежий и самый лицензионный фотошоп, этот метод должен сработать. Если же нет, появится сообщение об ошибке.

Режим txt2img проще всего: создаём новое изображение, вводим описание и жмём кнопку «Generate». Если хочется сгенерировать сразу несколько картинок и выбрать лучший вариант, открываем «Advanced Settings» и ставим нужное количество (за раз можно создать до 8 картинок).

Генерация изображений принципиально ничем не отличается от работы в веб-интерфейсе нейросети, а сам интерфейс плагина похож на простые сборки Stable Diffusion — например, на Easy Diffusion. Доступна генерация с нуля по текстовому запросу (txt2img), генерации новых картинок на основе открытого в фотошопе изображения (img2img) и замена выделенных частей изображения (inpaint). Режимы переключаются с помощью трёх кнопок внизу плагина.