Как рисуют нейросети: лучшие примеры сгенерированных изображений

Получает запрос от пользователя

Нейросети могут генерировать текстуры, модели персонажей, окружение, предметы и другие игровые элементы. Это позволяет разработчикам создавать игры с более разнообразным контентом, сокращая время и ресурсы, необходимые для ручной разработки. Например, в игре No Man’s Sky нейросети используются для генерации бесконечного числа планет с уникальными ландшафтами, флорой и фауной. А в марте 2024 года Google представила модель Genie, которая может создавать разные игровые миры из изображений, фотографий и даже эскизов. Она обучена на 200 тыс. часов интернет-видео об играх.

Как языковые модели видят тексты

Модель видит текст как единицы языка: слова, буквы, цифры или знаки препинания — их по-другому называют токенами. Из чего будут состоять токены, зависит от того, как программист, который работает с моделью, поделил текст. Можно анализировать выражения на уровне букв, слов или частей слова.

Научиться быстро и эффективно работать с нейросетями можно на индивидуальном тарифе на курсе «Графический дизайнер» в онлайн-университете Skypro. Вы познакомитесь с популярными сервисами, которые упрощают работу с изображениями. Через 10 месяцев учебы получите диплом о профпереподготовке и сможете выйти на рынок как уверенный специалист.

Как объясняет разработчик машинного обучения Владимир Морозов, на входе модель получает текст. Например, если пользователь набирает слова на клавиатуре, первой их прочитает именно языковая модель. За распознавание высказывания отвечает энкодер. Чтобы понять смысл, модель делит входной текст на мелкие кусочки, такие как слова или фразы.

Все это позволяет дизайнерам сосредоточиться на более творческих и инновационных задачах. ИИ создаст несколько вариантов в качестве первого наброска, который затем можно усовершенствовать в соответствии со своим видением и требованиями клиента. ИИ не заменяет дизайнера, а дополняет его. Эмпатия, налаживание контакта с заказчиком, чувство вкуса — все это пока больше присуще человеку.

Затем модель создаёт следующий фрагмент текста, который она считает наиболее верным в контексте. Именно эту фразу пользователь увидит у себя на клавиатуре смартфона в строке подсказок. Процесс повторяется множество раз, чтобы сгенерировать полный текст или ответ на вопрос, если нейросеть встроена не в клавиатуру, а чат-помощник.

Шедеврум

🟡 Дорисовывать и редактировать изображение от нейросети вручную. В Kandinsky 3.0 добавили новую inpainting-модель к уже имеющейся outpainting-модели. C inpainting можно редактировать выбранные объекты и целые области. А с outpainting — создавать панорамы за счет расширения границ картинки. Можно комбинировать эти функции — взять готовую картинку, чтобы нейросеть дорисовала на ней недостающие детали.

Научиться кодить на языке Python поможет курс «Python-разработчик» в онлайн-университете Skypro. За 10 месяцев вы с нуля получите востребованную профессию и сможете хорошо зарабатывать по рынку IT. Согласно Zarplan, на октябрь 2023 года средняя зарплата Python-разработчика в Москве — 266 955 ₽.

Нейросети помогут обустроить квартиру или дом. Загрузите исходные данные, нажмите пару кнопок, и нейросеть за считанные секунды предложит множество вариантов дизайна. Преобразить интерьер можно, например, с помощью Interior AI. Нужно сфотографировать свой текущий интерьер, а искусственный интеллект изменит его. Можно выбрать стиль интерьера, например, минимализм, а еще превратить эскизы в фотореалистичные изображения. Другая нейросеть, REimagine Home, наведет порядок в комнате, поменяет цвета стен и добавит необходимую мебель. RoomGPT преобразит интерьер, используя одну фотографию. Нужно лишь указать желаемый стиль дизайна и тип помещения.

Более современные модели на основе нейросетей ориентируются на большее количество параметров. В отличие от, например, n-граммных, которые смотрят на фиксированное число слов, они могут смотреть на весь текст целиком. Кроме того, они способны учитывать стиль текста, день недели и даже сезонность — это как раз контекст.

Если хотите использовать ChatGPT, вам нужна платная версия Plus. Создайте новый чат, выберите GPT-4 и Dall-E 3 в выпадающем окне, напишите запрос в виде просьбы нарисовать или сгенерировать картинку. GPT-4 дополнит ваш запрос и сгенерирует четыре картинки. В запросе можно указать формат — горизонтальные или вертикальные изображения.

Затем модель создаёт следующий фрагмент текста, который она считает наиболее верным в контексте. Именно эту фразу пользователь увидит у себя на клавиатуре смартфона в строке подсказок. Процесс повторяется множество раз, чтобы сгенерировать полный текст или ответ на вопрос, если нейросеть встроена не в клавиатуру, а чат-помощник.

🎨 Нейросеть устроена подобно мозгу: она формирует связи между элементами, чтобы создавать новые понятия или сущности. Но, в отличие от человеческого мозга, нейросеть ограничена заданным программистами алгоритмом обучения и не способна к самообразованию. Она пока не может обучаться без человеческого содействия.

В онлайн-университете Skypro на индивидуальном тарифе курса «Графический дизайнер» вас познакомят с азами работы Midjouney. Сможете узнать, как этот инструмент ускоряет работу дизайнеров, и научитесь применять его на практике. На курсе «Графический дизайнер» вас с нуля научат работать в графических редакторах: Figma, программах Adobe, Tilda. А еще во время учебы освоите правила композиции и основные дизайн-принципы, которые помогут создавать уникальный, гармоничный и функциональный дизайн.

Как начать работу

Нейросеть всё-таки отличается от нашего мозга — человек тренирует ее, она учится по заданному алгоритму и не умеет отклоняться от этого процесса в сторону самообразования. То есть вариант, когда нейросеть будет обучаться сама, без человека, пока невозможен. Как в научно-фантастических фильмах — не получится.

Нейросети стали обыденностью: студенты пишут курсовые с помощью ChatGPT, иллюстраторы рисуют в Midjourney, а Т9 регулярно предлагает неловкие автозамены. Технологиями заинтересовались и корпорации: например, РЖД провели конкурс цифрового искусства. Но что мы знаем о том, как нейросети работают с языком? Как видят слова и изображают их? Спросили у Владимира Морозова — разработчика машинного обучения в отделе обработки естественного языка «‎Яндекса».

Если модель смотрит на один последний токен, это униграммная модель: она предсказывает следующее слово по последнему во фразе. Биграммные модели смотрят на два слова назад. Но технически количество слов, которые будут учитываться в предсказании, не ограничено. Поэтому модели могут быть n-граммными, где n — любое число. В сравнении с другими модели такого типа быстро работают и мало весят, особенно если значение n небольшое, а токен — буква или часть слова. Поэтому n-граммные модели активно используют в клавиатурах, чтобы персонализировать подсказки.

Для предсказания важен контекст, поэтому модель учится понимать, как слова в предложении связаны между собой и какие из них чаще встречаются вместе. На основе анализа и контекста модель предсказывает, какое слово или фразу логично было бы использовать дальше. За это отвечает декодер.

Владимир рассказывает: «Дальнейший процесс зависит от того, какую задачу мы хотим решить: если нейросеть анализирует предложение и должна выдать предложение, то языковая модель обновляет контекст новыми сгенерированными словами и снова предсказывает слово».

«Мы разбиваем слова на популярные части, например „велотренажёр“ → „вело“, „трен“, „ажёр“», — рассказывает Владимир Морозов. Такой формат удобен тем, что токены получаются более осмысленными, чем если бы текст делился на буквы, но занимают меньше памяти в сравнении со словарями, которые состоят из слов.

Искусственный интеллект известен тем, что генерирует красивые картинки в стиле фотореализма, которые порой сложно отличить от реальных фотографий. Midjourney умеет рисовать в разных жанрах и направлениях, а еще создавать серию иллюстраций. К примеру, вы можете попросить нейросеть сделать изображения в стиле Ван Гога или Пикассо — и она с этим легко справится.

Если вы знаете язык программирования Python и умеете кодить, можете использовать консоль — для этого нужно зайти на сервис GitHub и настроить среду разработки. Главный плюс такого подхода в том, что можно использовать больше методов генерации изображений и лучше вникнуть в специфику работы ИИ.