Как легко и быстро установить нейронную сеть на домашний ПК

Модель Stable Diffusion 1.5

Обратите внимание: составление промта для Stable Diffusion немного отличается от того, как это делается в Midjorney. Нейросеть Midjorney лучше понимает сложные связные предложения, и в ней можно писать что-то типа «кот, сидящий на столе среди книг рядом с настольной лампой в старой викторианской библиотеке». Stable Diffusion лучше понимает отдельные слова или сочетания из 2-3 слов, разделённые запятыми. Так что составление промта для этой нейросети похоже на описание фото для фотостока.

Stable Diffusion — нейросеть, умеющая генерировать изображения по текстовому запросу (txt2img). У неё открытый исходный код, а значит, любой желающий может использовать её для создания красивых картинок (и даже вносить изменения в код, если умеет программировать).

Прежде чем приступить к подключению нейросети, необходимо определиться с выбором самой подходящей модели. Существует множество различных типов нейросетей, каждая из которых предназначена для решения определенных задач. Например, для распознавания изображений можно использовать сверточные нейронные сети, для обработки текстов — рекуррентные сети, а для решения задачи рекомендации — нейронные сети прямого распространения. Поэтому важно определить, для какой цели вы планируете использовать нейросеть на вашем сайте и выбрать соответствующую модель.

Ещё немного технической информации прежде чем перейдём непосредственно к рисованию. Скорость работы Stable Diffusion очень сильно зависит от установленной в компьютере видеокарты и объёма видеопамяти. Важный момент: при работе нейросеть использует ядра CUDA, которые есть только в видеокартах NVidia, и лучше брать именно их.

Что касается результата увеличения, то тут он не так впечатляет, как в том же Midjourney. Если Midjourney во время увеличение продолжает дорисовывать изображение, добавляя и изменяя детали, то Stable Diffusion просто физически увеличивает картинку, увеличивая резкость и сохраняя плавность линий. В целом, результат увеличения в Stable Diffusion очень похож на работу Topaz Gigapixel.

Это очень странно, я про питон. Я брал этот https://raw.githubusercontent.com/adang1345/PythonWin7/master/3.10.6/python-3.10.6-amd64-full.exe, отлично устанавливается. И к слову я таки запустил SD на семерке, нужно просто установить более старый pytorch и torch vision. Т.к. на семерке драйвер видеокарты поддерживает CUDA только 11.6 версии, а в AUTOMATIC1111 stable diffusion webui автоматом скачивается с поддержкой 11.7, пришлось немного подредактировать скрипт. Завершать установку пришлось под вин10, не помню что именно там не хватало, зато сейчас преспокойно работает на семерке 🙂

Stable Diffusion UI — это простая и удобная оболочка с открытым исходным кодом для нейронной сети Stable Diffusion. Программа всего за два клика бесплатно выполнит установку всех необходимых зависимостей, требуемых для запуска и работы нейронной сети, а также благодаря понятному веб-интерфейсу позволит даже самым зелёным пользователям создавать настоящие шедевры.

Держите х0
https://sun9-21.userapi.com/impg/WOcvrmauQ6m8meP1Rko-OMpdnTVEMkijO32sjw/OwSuLrZ1R3w.jpg?size=1024×2048&quality=96&sign=807606d7a3e2e26b841b0220b04b7842&type=album
Никаких высококачественных фильтров или специальных запросов не применялось, ибо нет времени, а ещё я забыл применить исправление глаз и лица. 80 проходов. Если вам нужно было действие в кадре, то нужно скачать другую модель.

Выводы

Я таки победил LowVRAM. Установил AUTOMATIC1111 stable diffusion webui, а там можно с помощью переменных окружения отключить проверку на достаточное количество видеопамяти. В таком виде вполне работает, иногда вылетает, зависит от выбранной модели и доп. фильтров всяких, или апскейлов, но в целом на 512х512 работает бодро, не на порядок быстрее конечно, но раза в три быстрее, чем на CPU. Но сейчас обнаружилась другая проблемка, готовые рисунки почему-то блеклые, и как-будто зернистые. Причем специально проверил, взял информацию от автора модели, на сайте есть примеры с полной информацией о параметрах, на которых эти рисунки получены. Так вот вбил эти параметры, и не получается у меня такой же рисунок. У автора цвета яркие, сочные, у меня блеклые, и некоторые детали не совпадают, но по мелочи. Вот как понять в чем проблема?

не знаю, запустилось бы или нет в итоге, но на вин7 попытался установить, но не дождался окончания. 11Гб Г… накачал — дальше не стал. Для запуска инсталлятора на вин7 достаточно скачать curl для винды (https://curl.se/windows/), из папки bin архива все копирнуть в windows\system32 и можно запускать cmd-шник

Составим такое описание: a cat made out of metal, ((cyborg)), (intricate details), hdr, ((intricate details, hyperdetailed)), sitting on the table, steampunk, books on the table, medieval windows behind, lancet windows, old library, victorian room, table lamps, stone walls, sun rays, soft light, photorealistic, perfect composition, cinematic shot / кот из металла, ((киборг)), (сложные детали), hdr, ((сложные детали, гипердетализация)), сидит на столе, стимпанк, книги на столе, средневековые окна сзади, стрельчатые окна, старая библиотека , викторианская комната, настольные лампы, каменные стены, солнечные лучи, мягкий свет, фотореалистичный, идеальная композиция, кинематографический кадр.

А для более комфортной и быстрой работы нужны более производительные видеокарты с объёмом памяти от 8 (а лучше от 12) гигабайт. Например, GeForce RTX 3050 на 8GB или GeForce RTX 4070Ti на 12GB. Что касается ноутбуков, то на ноутбуке Lenovo Legion 5 с видеокартой RTX3060 на 6GB Stable Diffusion должна работать довольно шустро (правда, 6 Гб может не хватить для сильного увеличения готовых картинок). А вот MSI Stealth GS77 точно справится с чем угодно: в нём стоит RTX3080Ti 16Gb.

MJ это самоиграйка, которая помимо самого изображения, генерирует недостающие части промта, которые человек не указал — например ракурс, сюжет, цвет глаз, обстановку, и т.д.
SD ничего этого не делает. Ей вообще пофиг на контекст. Нельзя написать «карлики из Челябинска воруют уголь» и наблюдать, как она сама придумает историю, из которой тебе предоставит стоп-кадры. Ей нужно точно объяснить, как должно выглядеть изображение, и что на нём: «карлик с бородой, одетый в робу, несёт мешок, ночь» и т.д.

Теперь нужно выбрать и скачать модель. У нейросетей для генерации картинок существуют разные модели, натренированные для создания изображений в разных стилях. Например, у Midjourney есть стандартная модель Midjourney v4, более свежая Midjourney v5, создающая более фотореалистичные изображения, и модель niji•journey, генерирующая картинки в стиле аниме и манга.

Делаем несколько вариантов готового фото в Stable Diffusion

Можно вернуться к квадратному формату, а можно попытаться это исправить с помощью поля Negative Prompt, в которое добавим описание того, что не хотим получать в генерации: «deformed, distorted, disfigured, poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, mutated hands and fingers, disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation» (деформированный, искаженный, изуродованный, плохо нарисованный, плохая анатомия, неправильная анатомия, лишняя конечность, отсутствующая конечность, искажённые конечности, мутировавшие руки и пальцы, отсоединенные конечности, мутация, мутировавший, уродливый, отвратительный, размытый, ампутация).

Нейросети, или искусственные нейронные сети, стали неотъемлемой частью современных информационных технологий. Они способны обрабатывать и анализировать огромные объемы данных, распознавать образы, голос, тексты и даже принимать решения на основе полученной информации.

После интеграции нейросети с сайтом необходимо провести тестирование ее работы в различных условиях. Важно удостовериться, что нейросеть корректно обрабатывает поступающие данные и возвращает ожидаемые результаты. В случае необходимости можно произвести оптимизацию модели, например, улучшить скорость работы или точность предсказаний, что поможет повысить общее качество работы нейросети на сайте.

После успешной интеграции нейросети с сайтом необходимо обеспечить ее поддержку и мониторинг. Это включает в себя постоянный контроль за работоспособностью и производительностью нейросети, обновление модели при необходимости, а также реагирование на возможные проблемы или сбои в ее работе. Также важно следить за изменениями в окружающей среде и обновлять модель нейросети в соответствии с новыми данными и требованиями.

Интересно.
У меня под win7 Python выше 2.8.5 отказывается ставится (что не удивительно учитывая что на сайте разработчика указано что для win7,8 последняя версия это 2.9) ссылаясь на отсуствие библиотеки.
Батник EasyDiffusion при этом сам докачал все кроме питона и все запускается.
Единственно что после выбора люой модели после перезапуска перестает запускаться на 2 раз, если не убрать галку«запомнитьпараметры->модель» в настройках.
UPDATE переустановил питон на 2.8.10 = stable-diffusion-webui-master стал запускаться
Python 2.8.16 это последняя поддерживаемая версия под win7. Выше даже не пытайтесь.

Запускаем установочный файл и начинаем установку. В процессе вас спросят, куда установить нейросеть. Лучше создавать папку для установки в корне диска (например, C:\EasyDiffusion или D:\EasyDiffusion). Так вам точно не придется потом искать установленную нейросеть.

Нейросети становятся всё совершеннее, входят в нашу жизнь всё чаще и вызывают всё больше споров. В конце марта 2023-го разработчики Midjourney закрыли бесплатный пробный доступ из-за злоупотребления технологией. В этом материале поработаем с бесплатным аналогом Midjourney — нейросетью Stable Diffusion. Где скачать, как установить и как работать со Stable Diffusion — разбираемся на котиках.

В начало описания добавили RAW photo— считается, что с таким ключевым словом нейросеть делает более фотореалистичные изображения. Вместо photo of the cat (фотография кота) поставили close-up portrait of the cat (крупный портрет кота). Обратите внимание на скобки вокруг close-up: с их помощью мы даём понять нейросети, что данный параметр для нас очень важен и на него стоит обратить больше внимания. Чем больше скобок, тем больше «вес» этого параметра в промте. Без скобок Stable Diffusion рисовала недостаточно крупных котиков, а вот с тремя скобками котики стали гораздо ближе к камере.