Generative Fill в Photoshop — как пользоваться и что умеет ИИ-помощник

Итоги

Ещё была попытка поменять фон, оставив людей нетронутыми. Выделяем их командой Select Subject/выделить предмет, инвертируем выделение комбинацией клавиш CTRL+SHIFT+I, и запускаем нейросеть с запросом «deep forest, old trees, sunset». Увы, никакого леса не вышло — генерация завершилась ошибкой и жалобой на нехватку видеопамяти.

Справляется нейросеть и с более сложными задачами. На стоковом фото у юноши была видна небольшая часть головы и половина руки. Генеративная заливка с пустым запросом нарисовала туловище, голову и интерьер за спиной, сохранив правильную ГРИП: сгенерированная часть, как и исходная голова, слегка размыты, а рука резкая.

Или можно взять веганский сэндвич с авокадо, добавить к нему мясо и яйцо и переместиться с ним в ресторан. Первым шагом выделяем середину сэндвича и генерируем с запросом Roasted meat. Затем выделяем верхний тост, запрос Fried egg. И затем, используя точное выделение с помощью инструмента Выделить предмет / Select subject, отделяем сэндвич от фона и меняем фон запросом Cafe interior with warm lights. Не всё вышло с первой попытки, некоторые запросы пришлось генерировать несколько раз, но на превращение левой картинки в правую ушло меньше пяти минут. При этом результат достаточно хорош, чтобы его можно было печать в меню.

1. Зайдите на сайт Creative Cloud. Если у вас нет учетной записи Adobe — пройдите простую процедуру регистрацию (можно зарегистрироваться при помощи вашей почты Google). Если сайт Creative Cloud не открывается, то попробуйте включить VPN (рекомендуем воспользоваться Psiphon). После регистрации нажмите кнопку «Загрузить».

Если же нужно нарисовать на добавленном куске картинки что-то конкретное, придётся использовать поле для описания. Мысли Photoshop читать пока не умеет. Например, можно дорисовать небо к фотографии какого-то восточного города. Для этого в поле описания вбиваем Blue sky with clouds (синее небо с облаками) и нажимаем «Генерировать».

Теперь попробуем поменять жениху серый пиджак на красную куртку. Увы, тоже безрезультатно. На некоторых результатах рука остаётся на месте, на некоторых появилась вторая рука в кармане куртки, но вот сама куртка так осталась серой. Максимум, чего удалось добиться за 10 минут — красная окантовка и несколько красных заплаток:

Генерация изображений принципиально ничем не отличается от работы в веб-интерфейсе нейросети, а сам интерфейс плагина похож на простые сборки Stable Diffusion — например, на Easy Diffusion. Доступна генерация с нуля по текстовому запросу (txt2img), генерации новых картинок на основе открытого в фотошопе изображения (img2img) и замена выделенных частей изображения (inpaint). Режимы переключаются с помощью трёх кнопок внизу плагина.

А есть вещи, которые искусственный интеллект фотошопа рисовать не умеет. Вот так выглядит марвеловский Железный человек по мнению трёх разных нейросетей. Слева — Midjourney. Такое чувство, что портрет супергероя написан Рембрандтом, а Роберт Дауни вполне узнаваем на двух картинках из четырёх. В середине — работа Stable Diffusion. Лица под маской не видно, но герой комиксов опознаётся с первого взгляда. Ну а справа творчество Adobe. Без комментариев.

Outpainting (дорисовка изображения)

Теперь нужно убедиться, что на компьютере есть подходящая версия версия Stable Diffusion (сам по себе установленный плагин не содержит в себе нейросети, а лишь обеспечивает связь с ней и даёт возможность работать с запущенной нейросетью прямо из окна фоторедактора). Для работы понадобится сборка на основе AUTOMATIC1111 (например, Portable Stable Diffusion — о том, как её установить и использовать можно почитать вот тут).

В таком случае есть другой способ установки, который сработает с любой более-менее актуальной версией фоторедактора. Нужно переименовать скачанный файл с плагином (он называется stable.art_0.0.1.ccx), и заменить расширение с .ccx на .zip — после этого просто распаковываем получившийся архив в папку с плагинами Photoshop (например, для 23 версии путь по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins).

По идее, если режим img2img позволяет работать с выделенной областью изображения, то его же можно использовать для мелких коррекций изображения — например, открыть глаза моргнувшему человеку. Но нет, это не работает. Нейросеть в режиме img2img полностью игнорирует всё за пределами выделения, и если выделенный фрагмент очень маленький, генерация больше похожа просто на случайный шум. Для такой работы предназначен последний из трёх режимов — inpaint

Работать с новым инструментом проще всего на новой плавающей панели инструментов. Но если открыть изображение в редакторе и посмотреть на панель, никакой генеративной заливки на ней не будет — вместо этого там будут кнопки Выделить предмет и Удалить фон.

Сегодня проблема в том, что оплатить подписку российской картой не получится. Но можно скачать пробную версию на 7 дней и попробовать новую функцию. Правда, здесь тоже не всё легко и очевидно. Если просто пойти на сайт Adobe, найти среди продуктов Adobe Photoshop и нажать «Start Free Trial», через пару шагов всё равно попросят ввести карту и оформить подписку. Без данных карты кнопка пробного периода остаётся неактивной (а российские карты не принимаются).

Компания Adobe показала миру новый нейросетевой инструмент Генеративная заливка/Generative Fill, встроенный прямо в новую версию Adobe Photoshop. О том, на что способна нейросеть от Adobe, как работать с Generative Fill в Photoshop, читайте в этом материале.

Новый нейросетевой инструмент Generative Fill в первую очередь предназначен для работы с уже существующими фотографиями. Он может что-то поменять, дорисовать или убрать с фото, и делает это с хорошей степенью фотореализма, соблюдая общий стиль изображения и корректно работая с ГРИП в большинстве случаев.

Generative Fill/Генеративная заливка — это новый инструмент, позволяющий работать с нейросетями прямо из Adobe Photoshop. Сейчас он доступен только в бета-версиях Adobe Photoshop, начиная с версии 24.6. В качестве нейросети для работы с изображениями используется собственная разработка Adobe — искусственный интеллект Adobe Firefly, обученный на изображениях из фотобанка Adobe Stock.

На что способен инструмент Generative Fill и где его можно применять

Иногда Photoshop справляется, и человек получается более-менее верным анатомически. Но результат всё равно выглядит слабым и малопригодным для практического использования. Вот так выглядит профессиональное фото ребёнка в саду на закате по мнению Adobe (слева) и Midjourney v5 (справа):

Важный момент: для работы Generative Fill необходимо подтвердить, что пользователю больше 18 лет. Если при регистрации не указана дата рождения, нужно будет зайти в учётную запись Adobe (или на сайт Behance с учётной записью Adobe) и ввести там дату рождения. Если же вместо регистрации в Adobe использовалась кнопка «войти через Google», стоит проверить свой аккаунт Google: в нём должна быть указана дата рождения и она должна быть видна всем.

С дорисовкой изображения искусственный интеллект от Adobe справляется очень хорошо. Нейросеть позволяет «заглянуть за край» изображения и восстановить то, что фотограф (или художник) оставил за кадром. В большинстве случаев, если вы не хотите нарисовать что-то конкретное, поле для описания можно оставить пустым. Достаточно увеличить размер холста, выделить пустое место и Photoshop сам заполнит его.

Чтобы карту не просили, нужно идти другим путём. Для начала нужно скачать приложение Adobe Creative Cloud с сайта Adobe вот по этой ссылке. После этого войти в аккаунт Adobe или зарегистрировать новый и запустить Creative Cloud. В открывшемся окне найти раздел с бета-приложениями и установить бета-версию Photoshop. В этом случае никаких банковских данных не попросят, и можно будет начать пробный период.

Несмотря на появившийся в свежих версиях Adobe Photoshop нейросетевой инструмент Generative Fill, не все хотят (или не могут) его использовать. У кого-то не получается оплатить российской картой, кому-то хочется большей свободы в генерациях (например, некоторые диджитал-художники жалуются, что инструмент Adobe не позволяет создавать иллюстрации для ужастиков). В этом случае можно использовать открытую нейросеть Stable Diffusion. Сегодня посмотрим, как с помощью плагина подключить Stable Diffusion к Adobe Photoshop и работать с ней прямо из фоторедактора.

Неделю назад компания Adobe объявила о запуске бета-версии нового Photoshop с инструментом под названием Generative Fill, который работает на основе ИИ-генератора изображений Firefly. Он позволяет расширять фотографии, добавлять или удалять элементы с помощью текстовых подсказок.