Нейросеть Stable Diffusion: что это такое, как ей пользоваться, гайд для установки на ПК

Playground AI

Seed (сид) — число, определяющее начальный шум, от которого зависит финальное изображение. Одинаковый сид + одинаковый промпт = одинаковое изображение. Это значит, что при использовании разных (или рандомизированных) значений сида программа несколько раз выдаст разные изображения даже при одинаковых промптах, а использование одного и того же сида при одинаковых промптах выдаст одинаковые изображения в разные генерации. Это полезно для контроля характеристик, тестирования изменений и смены стиля.

На втором компьютере стояла довольно старая видеокарта Nvidia GTX 960 на 4 Гб (по производительности она примерно равна GTX 1050Ti), и она работала заметно медленнее. С размером 1024х768 она не справляется, не хватает видеопамяти и задача завершается с ошибкой. Так что на ней генерировали изображения в два раза меньше, 768х512 пикселей. На генерацию четырёх изображений такого размера уходило 6-9 минут.

Работает она не на удалённом облачном сервере, как Midjourney или DALL-E, а прямо на компьютере пользователя. В этом есть плюсы: не надо оплачивать подписку, не надо ждать в очереди, пока нейросеть создаст картинки для других клиентов и займётся твоим запросом. Есть и минусы: не каждый компьютер подойдёт для запуска и стабильной работы Stable Diffusion. Нужна мощная видеокарта и несколько десятков гигабайт свободного места на диске. Разработчики рекомендуют использовать видеокарту Nvidia серии RTX 3xxx с объёмом видеопамяти не менее 6 Гб.

Первые генеративные нейросети были коммерческими: их нельзя было загрузить на компьютер, дополнить и дообучить под свои задачи. Со временем появились open-source модели, доступные для скачивания. По словам директора по инновациям Wink и преподавателя Британской высшей школы дизайна Артема Орлова, самой популярной стала именно Stable Diffusion: «Любой мог скачать XL-версию, закинуть туда сто изображений Москвы, например, и на выходе получить модель, которая знает все про город». Развитие пошло дальше: в 2023 году добавился дополнительный AI-инструмент (AI ― от англ. artificial intelligence, «искусственный интеллект»), ControlNet, с помощью которого пользователи могли генерировать изображения не только на основе текстового промта, но и с помощью других изображений и набросков.

Процесс установки не очень быстрый, так что налейте себе чаю с печенькой и ждите. В конце установки не забудьте поставить галочку Create Desktop Shortcut, чтобы установщик создал ярлык для быстрого запуска. А вот запускать нейросеть пока рано, так что галочку Run Easy Diffusion стоит снять.

О принципе работы Stable Diffusion в беседе с «Лентой.ру» рассказал эксперт по нейросетям, автор курса для школьников «Нейросети для учебы и жизни» в «ИнтернетУрок» Александр Жадан: «У Stable Diffuison диффузионный принцип генерации. Это значит, что в нейросети собрана большая база исходных изображений (пары картинка-текст), к которым добавляется шум , чтобы делать новые изображения за счет добавления деталей. Если не добавлять шум, то на выходе нейросеть просто выдавала бы имеющиеся файлы из своего набора».

Stable Diffusion: главное о нейросети

Теперь поместим нашего кота в атмосферное место. Думаю, ему подойдёт старая библиотека. Составляем запрос: «photo of cat, sitting on the table, books on the table, medieval windows behind, lancet windows, old library, table lamps, victotrian room, stone walls, chandeliers, many books, HDR, sun rays, cinematic light, volumetric light, soft light, photorealistic, perfect composition» / фото кота, сидит на столе, книги на столе, средневековые окна позади, стрельчатые окна, старая библиотека, настольные лампы, викторианская комната, каменные стены, люстры, много книг, HDR, солнечные лучи, кинематографический свет, объемный свет, мягкий свет, фотореалистичный, идеальная композиция.

В процессе генерации попадались котики, у которых на месте глаз жёлтые круги без зрачков или с плохо проработанными зрачками. Чтобы повысить качество глаз и избавиться от плохих вариантов, в поле Negative prompt добавили пункты bad eyes, ugly eyes, чтобы исключить варианты с плохими уродливыми глазами.

Можно вернуться к квадратному формату, а можно попытаться это исправить с помощью поля Negative Prompt, в которое добавим описание того, что не хотим получать в генерации: «deformed, distorted, disfigured, poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, mutated hands and fingers, disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation» (деформированный, искаженный, изуродованный, плохо нарисованный, плохая анатомия, неправильная анатомия, лишняя конечность, отсутствующая конечность, искажённые конечности, мутировавшие руки и пальцы, отсоединенные конечности, мутация, мутировавший, уродливый, отвратительный, размытый, ампутация).

Далее следует перейти к описанию действий и характеристик объектов. «Не забудьте про место действия и стилистику изображения — можно взять за основу стили популярных живописцев, фотографов и игровых концепт-артов, — посоветовала собеседница «Ленты.ру». — Подсмотреть готовые промпты можно в сообществе PromptoMania — здесь собраны изображения и их подробные описания для работы со Stable Diffusion».

Запускаем установочный файл и начинаем установку. В процессе вас спросят, куда установить нейросеть. Лучше создавать папку для установки в корне диска (например, C:\EasyDiffusion или D:\EasyDiffusion). Так вам точно не придется потом искать установленную нейросеть.

Чтобы дать пользователям, ранее не генерировавшим картинки, шанс опробовать сервис, администрация начисляет новым юзерам по 100 кредитов. Этого хватает, чтобы сгенерировать 500 изображений на стандартных настройках. В зависимости от сложности дополнительных настроек цена за промпт может меняться. Когда кредиты закончатся, можно приобрести новые — тысячу штук за 10 долларов, но для покупки понадобится иностранная банковская карта.

Что касается результата увеличения, то тут он не так впечатляет, как в том же Midjourney. Если Midjourney во время увеличение продолжает дорисовывать изображение, добавляя и изменяя детали, то Stable Diffusion просто физически увеличивает картинку, увеличивая резкость и сохраняя плавность линий. В целом, результат увеличения в Stable Diffusion очень похож на работу Topaz Gigapixel.

А для более комфортной и быстрой работы нужны более производительные видеокарты с объёмом памяти от 8 (а лучше от 12) гигабайт. Например, GeForce RTX 3050 на 8GB или GeForce RTX 4070Ti на 12GB. Что касается ноутбуков, то на ноутбуке Lenovo Legion 5 с видеокартой RTX3060 на 6GB Stable Diffusion должна работать довольно шустро (правда, 6 Гб может не хватить для сильного увеличения готовых картинок). А вот MSI Stealth GS77 точно справится с чем угодно: в нём стоит RTX3080Ti 16Gb.