Как обрабатывать фотографии с помощью нейросети Stable Diffusion

Как изменить часть изображения с помощью Inpaint в Stable Diffusion

В поле Prompt пишем просто «Burger on the plate» («Бургер на тарелке»). Stable Diffusion хорошо работает только с английским, так что тем, у кого с ним плохо, стоит вооружиться переводчиком. А тем, кто не уверен, что способен сформулировать промт самостоятельно, помогут библиотеки промтов — базы с набором проверенных запросов.

Начнём с самой простой задачи: возьмём готовое фото и сгенерируем несколько похожих на него картинок. У нас есть фотография бургера с бесплатного фотостока, но верхняя булочка примята, а котлета выглядит слегка подгорелой. Да и вообще, это фото может скачать и использовать кто угодно, а мы хотим собственный уникальный бургер. При этом композиция хороша, цвета тоже, да и начинки в бургере немало.

Работать мы сегодня будем со сборкой Portable Stable Diffusion, в которой есть удобный интерфейс для обработки изображений, и с моделью Deliberate 2.0, которая на сегодня лучше всего подходит для создания фотореалистичных изображений разных предметов (есть модели, которые хороши в создании людей, но больше не умеют ничего). Вот здесь на Гитхабе можно скачать эту сборку, а вот ссылка на Deliberate 2.0. О том, как установить нейросеть и модели для неё, мы писали вот в этой статье.

И, разумеется, Inpaint можно использовать для доработки сгенерированных нейросетью картинок, если в них не всё идеально. Если Stable Diffusion нарисовала вам человека, у которого что-то не так с лицом, или есть лишние пальцы на руках, это тоже можно поправить в этой вкладке. Нарисуйте маску в нужной области, и попросите нейросеть сгенерировать голову с открытыми глазами или руку с пятью пальцами — есть шанс, что она вас послушается и исправит недостатки.

Онлайн-сервис PicsArt постоянно обрастает новыми функциями, связанными с искусственным интеллектом. Если ранее это был простенький графический редактор, то сейчас сайт можно использовать для полноценного генерирования новых изображений или значительной перекройки старых. На главной странице можно открыть раздел с инструментами для редактирования, чтобы посмотреть, сколько всего есть, связанного с AI. Тут и удаление фона, и улучшение качества изображения, замена объектов, и создание картинок по промтам с использованием сторонней модели нейронки.

Модель нейросети Kandinsky 2.1 была разработана компанией Сбера и реализована на нескольких сайтах, где есть разная функциональность в плане создания изображений и их редактирования. Для обработки уже готовых картинок больше подходит Fusion Brain. На данном сайте можно загрузить собственную картинку, выделить на ней какую-то область и ввести подсказку, чтобы выделенный объект удалить, заменить на другой, поменять цвет или как-нибудь улучшить.

Генерируем изображение по эскизу с помощью Stable Diffusion

Kandinsky 2.1 позиционируется как альтернатива Midjourney с новой моделью генерирования изображений и большим количеством разных функций. Если вас интересуют как раз такие нейросети, можете ознакомиться с другими представителями более детально в отдельной статье на нашем сайте, кликнув по следующему заголовку.

Теперь идём в уже знакомый нам раздел img2img, во вкладку img2img. Загружаем туда наше фото. Традиционно выставляем размер изображения (1) так, чтобы соотношение сторон не менялось. Denoising strength (2) ставим на ноль. В разделе Script (3) выбираем установленное расширение, а модель (4) — dpt_beit_large_512.

Для работы с размытием фона мы будет работать одновременно со Stable Diffusion и с Adobe Photoshop. Представим, что в нашем распоряжении есть фотография с очень высокой ГРИП, а нам хочется добавить на неё размытия. Пусть зрители думают, что мы снимали на дорогой светосильный объектив с хорошим боке.

Обратите внимание, что в отличие от генерации картинки только по текстовому описанию, нам не нужно создавать очень сложный набор ключевых слов. Вместо того, чтобы словами говорить нейросети о размерах бургера, количестве сыра и котлет и цвете тарелки, мы просто показываем ей образец и говорим, что хотим бургер. Генерируем и выбираем самый красивый.

В нейросети Stable Diffusion можно не только генерировать картинки с нуля по текстовому запросу (txt2img), но и работать с уже существующими изображениями (img2img). Можно загрузить в Stable Diffusion фотографию и сгенерировать похожие картинки, можно заменить часть изображения, а можно нарисовать от руки грубый эскиз, по которому нейросеть создаст красивый рисунок.

После загрузки происходит работа с самим инструментом. Список настроек зависит от выбранной модели ИИ. Вы можете получить регуляторы света, строку для ввода подсказок по замене фона или сразу готовый результат, если речь идет о регенерировании картинок по заданному шаблону.

Еще на главной странице сайта можете найти раздел с инструментами искусственного интеллекта, где присутствует еще больше разных функций. Можно добавить фильтры, сделать скетч из фотографии, заменить объекты или сформировать уникальный аватар. Все это осуществляется автоматически по запросам или выбранным из библиотеки примерам.

Присутствует и стандартная обработка в виде наложения различных эффектов, масок и фильтров. Применяются изменения корректно, всегда можно настроить как их жесткость, так и дополнительные параметры в виде прозрачности, интенсивности цветов или бликов. Это уже делается вручную, но основа обработки ложится на плечи ИИ.