Как встроить Stable Diffusion в Adobe Photoshop

На что способен инструмент Generative Fill и где его можно применять

Если же сравнивать плагин с веб-интерфейсом Stable Diffusion, то плагину очень не хватает множества дополнительных настроек, скриптов и расширений, которые можно использовать в веб-версии. И стоит отметить, что при использовании плагина нейросеть гораздо чаще жаловалась на нехватку видеопамяти, чем при работе через браузер.

Теперь нужно убедиться, что на компьютере есть подходящая версия версия Stable Diffusion (сам по себе установленный плагин не содержит в себе нейросети, а лишь обеспечивает связь с ней и даёт возможность работать с запущенной нейросетью прямо из окна фоторедактора). Для работы понадобится сборка на основе AUTOMATIC1111 (например, Portable Stable Diffusion — о том, как её установить и использовать можно почитать вот тут).

Компания Adobe показала миру новый нейросетевой инструмент Генеративная заливка/Generative Fill, встроенный прямо в новую версию Adobe Photoshop. О том, на что способна нейросеть от Adobe, как работать с Generative Fill в Photoshop, читайте в этом материале.

Важный момент: для работы Generative Fill необходимо подтвердить, что пользователю больше 18 лет. Если при регистрации не указана дата рождения, нужно будет зайти в учётную запись Adobe (или на сайт Behance с учётной записью Adobe) и ввести там дату рождения. Если же вместо регистрации в Adobe использовалась кнопка «войти через Google», стоит проверить свой аккаунт Google: в нём должна быть указана дата рождения и она должна быть видна всем.

Полностью выполнить работу за профессионального ретушёра нейросеть пока не может, но вот помочь ему и ускорить работу вполне способна. Ну а тем, у кого не такие высокие требования к качеству, новый инструмент может полностью заменить отдельного специалиста по ретуши: с его помощью можно доработать фото для соцсетей или улучшить фотографии из отпуска.

Режим txt2img проще всего: создаём новое изображение, вводим описание и жмём кнопку «Generate». Если хочется сгенерировать сразу несколько картинок и выбрать лучший вариант, открываем «Advanced Settings» и ставим нужное количество (за раз можно создать до 8 картинок).

Outpainting (дорисовка изображения)

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

Нейросеть справилась на удивление хорошо, восстановив форму тарелки. Если не вглядываться в детали, то всё выглядит вполне прилично. Но если присмотреться, то видны погрешности. Доски справа отличаются более грубой текстурой, а зелень и овощи выглядят размытыми и не очень детализированными при 100% увеличении.

Если нажать на неё, появится область для ввода запроса. Традиционно, нейросеть понимает запросы только на английском языке. Давайте добавим на пустое выделенное место тарелку спагетти. В поле описания пишем Plate with spaghetti, жмём «Генерировать» и получаем довольно реалистичную тарелку еды. Генерация занимает 10-15 секунд. По стилю новая тарелка неплохо вписалась в оригинальное изображение.

В режиме inpaint Stable Diffusion должен учитывать окружение, и сгенерированная часть должна выписываться в остальную картинку. Пробуем открыть глаза невесте, переключившись в inpaint — действительно, вместо шума на месте глаз появляются новые глаза, они неплохо вписываются в исходное фото. Проблема только одна: эти глаза остались закрытыми:

C помощью нейросети можно поменять что-то на фотографии. Например, можно переодеть модель из платья в джинсы и наоборот. Выделяем нужную область (выделение может быть довольно грубым, например с помощью лассо) и генерируем. Запрос подойдёт довольно простой (blue jeans или red dress). Но будьте готовы к тому, что придётся генерировать несколько раз (и, возможно, поправлять выделенную область). Нейросеть не всегда создаёт анатомически верные варианты.

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.