Как обрабатывать фотографии с помощью нейросети Stable Diffusion

Плюсы и минусы

Много чего в PicsArt доступно бесплатно, особенно различные средства, касающиеся обработки при помощи ИИ. Однако некоторые эффекты, наложения, стикеры и готовые фотографии предназначены исключительно для премиум-пользователей, что замечается по значку рядом с такими элементами. Тут вы уже сами решаете, готовы ли пользоваться веб-сервисом на постоянной основе и платить деньги за подписку.

Работать мы сегодня будем со сборкой Portable Stable Diffusion, в которой есть удобный интерфейс для обработки изображений, и с моделью Deliberate 2.0, которая на сегодня лучше всего подходит для создания фотореалистичных изображений разных предметов (есть модели, которые хороши в создании людей, но больше не умеют ничего). Вот здесь на Гитхабе можно скачать эту сборку, а вот ссылка на Deliberate 2.0. О том, как установить нейросеть и модели для неё, мы писали вот в этой статье.

В запрос, как всегда при работе с img2img, подставляем самые простые понятия. Например «woman face». Жмём на кнопку Generate и ждём. В зависимости от мощности видеокарты генерация 8 изображений займёт от 30-40 секунд до 15-20 минут. И вот наш результат: слева исходное фото с маской, справа — девушка со свежесгенерированной головой.

Запускаем нейросеть. Stable Diffusion работает на локальном компьютере, а её интерфейс открывается во вкладке браузера. Во так он выглядит. Нам нужна вкладка img2img (1), в которой есть ещё одна одноименная вкладка (4). Есть поля для ввода описания Prompt (2) и Negative Prompt (3), и есть область для загрузки изображения (5). В неё мы и перетаскиваем наше фото бургера.

Самым важным в настройках, как обычно, был параметр Denoising strength. Приличные картинки получались в довольно узком диапазоне от 0,7 до 0,78. При меньших значениях картинка была слишком «рисованной», ну а при больших, несмотря на фотореалистичность, отличалась по композиции.

Ниже есть еще несколько плиток с другими инструментами. При помощи одного из них можно заменить фон на выбранный, указав текстом то, чего вы хотите достичь. Второй предназначен для умного удаления любого текста с картинки, что позволит убрать как ненужные надписи на зданиях, билбордах и других вывесках, так и надписи на одежде или даже водяные знаки.

Теперь идём в уже знакомый нам раздел img2img, во вкладку img2img. Загружаем туда наше фото. Традиционно выставляем размер изображения (1) так, чтобы соотношение сторон не менялось. Denoising strength (2) ставим на ноль. В разделе Script (3) выбираем установленное расширение, а модель (4) — dpt_beit_large_512.

В описание можно внести некоторые уточнения, например, просьбы стилизовать бургер или добавить мелкие детали. Важный момент: в режиме img2img нейросеть очень сильно опирается на цветовые пятна исходной картинки. Если вам нужно внести существенные изменения (сделать не один бургер, а пять, сменить белую булку на чёрную), работа будет идти плохо и сложно. В этом случае лучше нарисовать картинку с нуля по текстовому описанию, как мы делали здесь. А вот скопировать стиль определённого художника или дизайнера можно без проблем.

Характеристики

Платформа на базе ИИ, которая позволяет создавать ИИ-арт, улучшать изображения, видео и даже аудио. Еще Neural Love содержит инструменты для создания аватаров, коррекции соотношение сторон картинки, улучшения качества изображений и видео, восстановления портретов в HD-качестве. Уникальная фишка — генерации изображений, похожих на то, что вы загрузили (image-to-image).

Для этого понадобится вкладка Sketch из раздела img2img — в ней мы будем рисовать набросок. Интерфейс в этой вкладке очень похож на тот, с которым мы работали, создавая маску в Inpaint. Разница только в том, что у кисти теперь есть не только размер, но и палитра выбора цвета:

Как раз на примере этого инструмента предлагаю разобрать принцип взаимодействия с Clipdrop. Сайт предлагает загрузить собственное изображение для обработки или выбрать один из примеров, чтобы просто проверить функционирование искусственного интеллекта. Тут отталкивайтесь от собственных целей и предпочтений. Выберите снимок и переходите к следующему шагу.

2. Mask mode — говорит нейросети, что же означает наша маска. По сути, это аналог белой или чёрной маски в Photoshop. В режиме Inpaint masked нейросеть будет изменять только то, что под маской, оставляя остальное нетронутым (как черная маска, частично протёртая). Ну а если выбрать Inpaint not masked, всё будет наоборот — область под маской останется неизменной, а всё вокруг поменяется (белая маска, частично закрашенная).

Этот метод применим не только к фотографиям. Часто его используют, чтобы сделать несколько вариантов картинки, сгенерированной в той же Stable Diffusion. Для этого сгенерированная картинка загружается во вкладку img2img, и генерируется несколько вариантов с теми же ключевыми словами, что и исходная.

Уже понятно, что такую функциональность можно использовать для самых разных целей, начиная от полного изменения цветокоррекции на снимке и заканчивая добавлением незначительных деталей и удалением всего лишнего. Если же выделить область за картинкой, чтобы растянуть ее, в качестве подсказок можно указать для нейросети, чем заполнить новое пространство. Тогда изображение станет более полным, появится больше новых объектов. Однако не всегда такое расширение заканчивается успешно, все зависит от того, как нейросеть распознает основной фон и заполнение картинки, чтобы корректно подобрать аналогичное пространство.

5. CFG Scale — это то, насколько точно Stable Diffusion следует нашему запросу. 1 — нейросеть совсем творчески подойдёт к запросу, может нарисовать что-то очень странное, 30 — максимально точное следование, выполнит запрос слово в слово. В большинстве случаев подойдёт значение 7-12.

Присутствует и стандартная обработка в виде наложения различных эффектов, масок и фильтров. Применяются изменения корректно, всегда можно настроить как их жесткость, так и дополнительные параметры в виде прозрачности, интенсивности цветов или бликов. Это уже делается вручную, но основа обработки ложится на плечи ИИ.

Fabula AI

Отдельно отмечу еще один инструмент, представленный тут на главной странице. Он называется «‎Reimagine XL»‎ и предназначен для создания новых вариантов готовой картинки. Базируется на модели искусственного интеллекта Stable Diffusion, поэтому результаты всегда получаются качественными и из нескольких представленных точно получится что-то выбрать.

Расположили нейросети по совокупности признаков, которые определяют лучший сервис. Главным критерием было наполнение ИИ-функциями, качество результата и стоимость. Практически все нейросети платные, но мы подобрали похожие бесплатные сервисы, дублирующие одну-две функции.

Теперь можно генерировать. Настройки вкладки Sketch выглядят точно так же, как и во вкладке img2img, с которой мы работали в первой главе нашей статьи. Ключевые слова довольно простые: «photo of man eating burger, bar, table, bokeh lights background».

Kandinsky 2.1 позиционируется как альтернатива Midjourney с новой моделью генерирования изображений и большим количеством разных функций. Если вас интересуют как раз такие нейросети, можете ознакомиться с другими представителями более детально в отдельной статье на нашем сайте, кликнув по следующему заголовку.

Слева вверху — оригинальный бургер с фотостока. Справа от него наш красивый бургер с Denoising strength 0,3. Он стал более аккуратным, словно над ним поработал ретушёр, но при этом общая композиция очень похожа на оригинал. При Denoising strength 0,55 бургер стал менее фотореалистичным, начинка немного поменяла вид (как и задний план — вместо стены теперь какой-то размытый интерьер). Ну а при 0,88 тарелка посинела, ракурс изменился и из бургера исчезла одна из котлет и сыр. Зато появилась картошечка.

Полностью на ИИ базируется инструмент «‎Замена фона», который тоже присутствует на нижней панели рядом с остальными вкладками. С его использованием Lensa определяет основные объекты на фотографии и автоматически удаляет фон. После этого можно выбрать один из готовых вариантов или задать подсказки, чтобы сгенерировать новый. По завершении останется только указать параметры экспорта и сохранить результат на своем мобильном устройстве.‎

Оно предназначено именно для обработки собственной картинки. Позволяет применить различные фильтры, наложить заранее заготовленные эффекты или самостоятельно выполнить цветокоррекцию. Некоторые из этих задач реализованы при помощи нейронных сетей, поэтому то же применение эффектов всегда будет корректное, а вам предварительно нужно будет только выбрать один из них из большого списка.

Давайте поработаем с вот такой фотографией девушки на мосту. Перетаскиваем фото. Теперь самое главное: во вкладке inpaint можно создать маску, чтобы нейросеть работала только с нужной областью и не затрагивала другие. После загрузки фото появляется кнопка кисти с ползунком для выбора размера(1), ластик (2), чтобы стереть ошибочно нарисованную маску, и кнопка отмены последних действий (3)