Как встроить Stable Diffusion в Adobe Photoshop

Плюсы и минусы Photoshop Generative ai fill

Обучение нейросети происходило довольно долго — для этого использовали более миллиона изображений с высоким качеством. Adobe уверяет, что все они прошли проверку на соответствие лицензии. Это значит, что Generative Fill не создаёт работы на основе имеющихся в доступе, доступных в базе файлов. Данный пункт особенно важен для тех, кто использует Фотошоп для работы над коммерческими проектами, сайтами — заказчик вправе знать, что в макетах или страницах нет файлов, нарушающих право собственности. Сюда же относится и конфиденциальность.

Если нажать на неё, появится область для ввода запроса. Традиционно, нейросеть понимает запросы только на английском языке. Давайте добавим на пустое выделенное место тарелку спагетти. В поле описания пишем Plate with spaghetti, жмём «Генерировать» и получаем довольно реалистичную тарелку еды. Генерация занимает 10-15 секунд. По стилю новая тарелка неплохо вписалась в оригинальное изображение.

После этого нужно инвертировать выделение, чтобы наш объект остался на месте, а нейросеть работала со всей оставшейся областью фото. Делается это клавишами CTRL+SHIFT+I. Теперь осталось объяснить нейросети, куда переместить людей. В данном случае пусть это будет ледяной каньон (запрос Ice canyon). Генерируем.

Generative Fill/Генеративная заливка — это новый инструмент, позволяющий работать с нейросетями прямо из Adobe Photoshop. Сейчас он доступен только в бета-версиях Adobe Photoshop, начиная с версии 24.6. В качестве нейросети для работы с изображениями используется собственная разработка Adobe — искусственный интеллект Adobe Firefly, обученный на изображениях из фотобанка Adobe Stock.

Компания Adobe показала миру новый нейросетевой инструмент Генеративная заливка/Generative Fill, встроенный прямо в новую версию Adobe Photoshop. О том, на что способна нейросеть от Adobe, как работать с Generative Fill в Photoshop, читайте в этом материале.

Новый нейросетевой инструмент Generative Fill в первую очередь предназначен для работы с уже существующими фотографиями. Он может что-то поменять, дорисовать или убрать с фото, и делает это с хорошей степенью фотореализма, соблюдая общий стиль изображения и корректно работая с ГРИП в большинстве случаев.

Или можно взять веганский сэндвич с авокадо, добавить к нему мясо и яйцо и переместиться с ним в ресторан. Первым шагом выделяем середину сэндвича и генерируем с запросом Roasted meat. Затем выделяем верхний тост, запрос Fried egg. И затем, используя точное выделение с помощью инструмента Выделить предмет / Select subject, отделяем сэндвич от фона и меняем фон запросом Cafe interior with warm lights. Не всё вышло с первой попытки, некоторые запросы пришлось генерировать несколько раз, но на превращение левой картинки в правую ушло меньше пяти минут. При этом результат достаточно хорош, чтобы его можно было печать в меню.

Важный момент: для работы Generative Fill необходимо подтвердить, что пользователю больше 18 лет. Если при регистрации не указана дата рождения, нужно будет зайти в учётную запись Adobe (или на сайт Behance с учётной записью Adobe) и ввести там дату рождения. Если же вместо регистрации в Adobe использовалась кнопка «войти через Google», стоит проверить свой аккаунт Google: в нём должна быть указана дата рождения и она должна быть видна всем.

На что способен инструмент Generative Fill и где его можно применять

После запуска редактора, в меню Plugins/Подключаемые модули появится плагин Stable.art, а при его запуске откроется панель для взаимодействия с нейросетью с уже знакомыми пользователям Stable Diffusion полями. В них можно выбрать модель для генерации (при условии, что у вас их несколько), ввести описание в поля Promt и Negative Promt, и задать количество шагов генерации.

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая.

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

Для начала нужно скачать плагин для фотошопа. Находится он традиционно на Гитхабе, вот тут. После этого автор плагина предлагает открыть Adobe Creative Cloud, убедиться, что на компьютере стоит самая свежая версия Adobe Photoshop, и установить плагин двойным щелчком мыша. В случае, если у вас установлен самый свежий и самый лицензионный фотошоп, этот метод должен сработать. Если же нет, появится сообщение об ошибке.

В целом, по результатам теста плагина Stable.art сложилось впечатление, что он уступает как иструменту Generative Fill, так и обычному веб-интерфейсу Stable Diffusion. В отличии от Generative Fill, плагин не умеет расширять и дорисовывать изображение и не подходит для очистки фотографий от ненужных элементов. С его помощью можно поменять что-то на фотографии, но происходит это непредсказуемо и работает далеко не всегда, тогда как Generative Fill в большинстве случаев выдаёт красивый фотореалистичный результат.

В Adobe отметили, что опция была разработана не только для ускорения процесса работы и упрощения процесса создания новых проектов. Она, прежде всего, должна стать вдохновением для дизайнеров и других профессионалов, которые используют Фотошоп в своей деятельности. Все функции работают на базе Adobe из сервиса Firefly, нового семейства самых гибких моделей ИИ для творчества, разработанного для безопасного и качественного коммерческого использования.

Generative Fill — что это?

Кстати, писать ключевые слова в поле с описанием не обязательно. Можно оставить его пустым, и тогда искусственный интеллект самостоятельно заполнит выделение, исходя из контекста. Пустое поле удобно использовать, если нужно удалить что-то с изображения или расширить картинку, дорисовав к ней то, что оставалось «за кадром». Для примера попробуем вернуть тарелке недостающий кусок.

В режиме inpaint Stable Diffusion должен учитывать окружение, и сгенерированная часть должна выписываться в остальную картинку. Пробуем открыть глаза невесте, переключившись в inpaint — действительно, вместо шума на месте глаз появляются новые глаза, они неплохо вписываются в исходное фото. Проблема только одна: эти глаза остались закрытыми:

Удалять лишнее с изображения Generative Fill тоже умеет, для этого тоже используется генерация с пустым запросом. Очень удобно с помощью нового инструмента очищать фотографии от лишних людей. Там, где ретушёру со штампом и лечащей кистью понадобится час-два работы, нейросеть справится за пару минут (причём основная часть времени уйдёт на то, чтобы выбрать лучший результат).

Чтобы карту не просили, нужно идти другим путём. Для начала нужно скачать приложение Adobe Creative Cloud с сайта Adobe вот по этой ссылке. После этого войти в аккаунт Adobe или зарегистрировать новый и запустить Creative Cloud. В открывшемся окне найти раздел с бета-приложениями и установить бета-версию Photoshop. В этом случае никаких банковских данных не попросят, и можно будет начать пробный период.

Если же нужно нарисовать на добавленном куске картинки что-то конкретное, придётся использовать поле для описания. Мысли Photoshop читать пока не умеет. Например, можно дорисовать небо к фотографии какого-то восточного города. Для этого в поле описания вбиваем Blue sky with clouds (синее небо с облаками) и нажимаем «Генерировать».

Создатели инструмента Generative Fill или «Генеративная заливка» предлагают испытать будущее. Вы можете попробовать его в работе для расширения изображений, создания новых объектов и удаления ненужных деталей. Adobe решили добавить в программу режим, разработанный на базе искусственного интеллекта. Но пока что он доступен только в бета-версии. Теперь не обязательно скачивать дополнительные расширения для работы с нейросетью в Фотошоп — всё находится под рукой.

А есть вещи, которые искусственный интеллект фотошопа рисовать не умеет. Вот так выглядит марвеловский Железный человек по мнению трёх разных нейросетей. Слева — Midjourney. Такое чувство, что портрет супергероя написан Рембрандтом, а Роберт Дауни вполне узнаваем на двух картинках из четырёх. В середине — работа Stable Diffusion. Лица под маской не видно, но герой комиксов опознаётся с первого взгляда. Ну а справа творчество Adobe. Без комментариев.

В таком случае есть другой способ установки, который сработает с любой более-менее актуальной версией фоторедактора. Нужно переименовать скачанный файл с плагином (он называется stable.art_0.0.1.ccx), и заменить расширение с .ccx на .zip — после этого просто распаковываем получившийся архив в папку с плагинами Photoshop (например, для 23 версии путь по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins).