10 лучших нейросетей для обработки фото в 2024 году

Характеристики

В нейросети Stable Diffusion можно не только генерировать картинки с нуля по текстовому запросу (txt2img), но и работать с уже существующими изображениями (img2img). Можно загрузить в Stable Diffusion фотографию и сгенерировать похожие картинки, можно заменить часть изображения, а можно нарисовать от руки грубый эскиз, по которому нейросеть создаст красивый рисунок.

Нам понадобится расширение для нейросети depthmap2mask, которое тоже можно найти на Гитхабе, вот здесь. Чтобы его установить, переходим во вкладку Extensions и выбираем Install from URL. Вставляем в нужное поле ссылку, и жмём на кнопку Install. После этого переключаемся на Installed, убеждаемся, что расширение на месте, и нажимаем большую кнопку Apple and restart UI. Когда интерфейс перезагрузится, можно работать.

Слева вверху — оригинальный бургер с фотостока. Справа от него наш красивый бургер с Denoising strength 0,3. Он стал более аккуратным, словно над ним поработал ретушёр, но при этом общая композиция очень похожа на оригинал. При Denoising strength 0,55 бургер стал менее фотореалистичным, начинка немного поменяла вид (как и задний план — вместо стены теперь какой-то размытый интерьер). Ну а при 0,88 тарелка посинела, ракурс изменился и из бургера исчезла одна из котлет и сыр. Зато появилась картошечка.

Для этого понадобится вкладка Sketch из раздела img2img — в ней мы будем рисовать набросок. Интерфейс в этой вкладке очень похож на тот, с которым мы работали, создавая маску в Inpaint. Разница только в том, что у кисти теперь есть не только размер, но и палитра выбора цвета:

В описание можно внести некоторые уточнения, например, просьбы стилизовать бургер или добавить мелкие детали. Важный момент: в режиме img2img нейросеть очень сильно опирается на цветовые пятна исходной картинки. Если вам нужно внести существенные изменения (сделать не один бургер, а пять, сменить белую булку на чёрную), работа будет идти плохо и сложно. В этом случае лучше нарисовать картинку с нуля по текстовому описанию, как мы делали здесь. А вот скопировать стиль определённого художника или дизайнера можно без проблем.

Теперь идём в уже знакомый нам раздел img2img, во вкладку img2img. Загружаем туда наше фото. Традиционно выставляем размер изображения (1) так, чтобы соотношение сторон не менялось. Denoising strength (2) ставим на ноль. В разделе Script (3) выбираем установленное расширение, а модель (4) — dpt_beit_large_512.

Плюсы и минусы

Онлайн ИИ-сервис по созданию и редактированию изображений. Работает на русском языке, есть бесплатная версия, но с лимитами. В Fabula AI можно создавать картинку по промту, генерировать аниме по изображению, удалять фон, увеличивать качество и размер картинки. Сервис также позволяет общаться с ChatGPT версии 3.5 без регистрации (1 запрос = 1 токен). Сначала дается 3 токена, после регистрации — еще 10 токенов. Один токен можно использовать только для одной функции (генерация изображения, редактирование картинки, запрос в ChatGPT).

Начнём с самой простой задачи: возьмём готовое фото и сгенерируем несколько похожих на него картинок. У нас есть фотография бургера с бесплатного фотостока, но верхняя булочка примята, а котлета выглядит слегка подгорелой. Да и вообще, это фото может скачать и использовать кто угодно, а мы хотим собственный уникальный бургер. При этом композиция хороша, цвета тоже, да и начинки в бургере немало.

3. Inpaint area — от этой настройки зависит, будет ли Stable Diffusion обращать внимание при рисовании на всю картинку, или только на замаскированную область. Выбор зависит от задачи: если бы мы хотели полностью стереть девушку с фото (или заменить её на какой-либо предмет), то нужно выбрать Whole picture. Но так как сейчас мы собираемся сохранить голову на месте, поменяв лишь черты лица, выбираем Only masked.

В запрос, как всегда при работе с img2img, подставляем самые простые понятия. Например «woman face». Жмём на кнопку Generate и ждём. В зависимости от мощности видеокарты генерация 8 изображений займёт от 30-40 секунд до 15-20 минут. И вот наш результат: слева исходное фото с маской, справа — девушка со свежесгенерированной головой.

Работать мы сегодня будем со сборкой Portable Stable Diffusion, в которой есть удобный интерфейс для обработки изображений, и с моделью Deliberate 2.0, которая на сегодня лучше всего подходит для создания фотореалистичных изображений разных предметов (есть модели, которые хороши в создании людей, но больше не умеют ничего). Вот здесь на Гитхабе можно скачать эту сборку, а вот ссылка на Deliberate 2.0. О том, как установить нейросеть и модели для неё, мы писали вот в этой статье.

Мы протестировали самые популярные нейросети для обработки изображений. Мы изучали сервисы-комбайны, выполняющие сразу несколько функций: улучшение качества изображений, ИИ-удаление фона, замена лиц и другие. Составили рейтинг по следующим критериям в порядке важности.