Как ИИ рисует котиков. Говорим о генеративно-состязательных нейросетях (GAN)

Каким образом нейросеть может что-то генерировать и распознавать?

Рассмотрев все эти изображения, сеть-эксперт сформировала своё представление о том, как могут выглядеть кошки (например, что у них есть лапы, хвост, усы, глаза). При этом дискриминатор не получил от программистов никаких дополнительных данных, поэтому его знания не являются полными.

Друзья Гудфеллоу полагали, что для этого потребуется заложить в компьютерную программу математические формулы и правила, описывающие, как должны располагаться элементы фотографии, чтобы из них получилось реалистичное изображение. Но Ян утверждал, что такой подход не сработает. Невозможно измерить гармонию и перевести её на сухой язык математики.

Генерирующая сеть пытается максимально увеличить вероятность ошибки дискриминирующей, а та в свою очередь пытается свести шанс к минимуму. Повторяя обучение раз за разом, генерирующая и дискриминирующая сети развиваются и постоянно противостоят друг другу, пока не достигнут состояния равновесия. В этом состоянии дискриминирующая сеть больше не может распознавать синтезированные данные. На этом тренировочный процесс закончен.

GAN – генеративно-состязательная нейросеть (Generative adversarial network, GAN) – один из алгоритмов классического машинного обучения, обучения без учителя. Суть идеи в комбинации двух нейросетей, при которой одновременно работает два алгоритма “генератор” и “дискриминатор”. Задача генератора – генерировать образы заданной категории. Задача дискриминатора – пытаться распознать созданный образ.

Вначале создаваемые генератором картинки совершенно не похожи на кошек и могут выглядеть как жёлтые кляксы. Естественно, дискриминатор отвергает такие рисунки, но при этом он выдаёт генератору косвенные подсказки о том, как следует изменить изображения, чтобы они более соответствовали его представлениям о кошках.

Amazon SageMaker – это полностью управляемый сервис, который можно использовать для подготовки данных, создания, обучения и развертывания моделей машинного обучения. Эти модели можно применять во множестве сценариев, а сам SageMaker обладает полностью управляемой инфраструктурой, инструментами и рабочими процессами. Также у него есть широкий набор функций, которые ускоряют разработку и обучение GAN для любого приложения.

Как можно использовать генеративные состязательные сети?

Гудфеллоу настаивал на использовании нейронных сетей, исследованием которых занимался. Однако коллеги скептически отнеслись к этой идее. Нейросети ранее уже пытались применять для рисования, и результаты были далеки от идеала. К тому же нейросети требовали длительного процесса обучения с участием человека.

Изобретение Яна Гудфеллоу изменило наш мир навсегда. Новая модель нейронных сетей подарила искусственному интеллекту способность творить. Теперь, когда мы смотрим на фотографии людей, котов, лошадей или даже медуз, мы не можем быть до конца уверены в том, что это не искусно сделанная компьютером подделка.

Вдохновившись этой моделью нейросетей, инженер Филипп Ван создал на базе StyleGAN сервис This Cat Does Not Exist («Этого кота не существует»). Если вы зайдёте на сайт, то увидите на экране изображение несуществующего кота, созданное с помощью генеративно-состязательной сети. Чтобы сгенерировать новую картинку, достаточно просто обновить страницу в браузере.

Генеративная состязательная сеть (GAN) – это архитектура глубокого обучения. Она учит две нейронные сети конкурировать друг с другом и генерировать более реалистичные новые данные из заданного для обучения их набора. Например, можно создавать изображения или оригинальную музыку из соответствующих баз данных. GAN называют состязательной, потому что она обучает две разные сети и противопоставляет их друг другу. Одна из них генерирует новые данные, беря выборку входных данных и максимально изменяя ее. А вторая пытается предсказать, являются ли полученные выходные данные оригинальными. Другими словами, сеть прогнозирования определяет, являются ли сгенерированные данные поддельными или настоящими. Система создает новые улучшенные версии поддельных данных до тех пор, пока сеть прогнозирования не перестанет отличать подделку от оригинала.

Amazon Bedrock является полностью управляемым сервисом. Вы можете использовать его, чтобы получить доступ к базовым моделям (FM) или обученным глубоким нейронным сетям от Amazon и ведущих стартапов в области искусственного интеллекта (ИИ). FM доступны через API, поэтому из нескольких вариантов можно выбрать модель, которая подходит именно вам. Такие модели можно использовать в собственных приложениях GAN. С помощью Amazon Bedrock вы будете быстрее разрабатывать и развертывать масштабируемые, надежные и безопасные приложения для генеративного искусственного интеллекта. И вам не нужно организовывать работу инфраструктуры.

И тогда Гудфеллоу предложил гениальную модель: в ней не одна, а две нейронные сети. И они сами обучают друг друга. Первая генерирует изображения, вторая оценивает плоды её работы. Если созданная картинка выглядит неестественно, вторая сеть вернёт её на доработку. Но если картинка окажется хорошей, нейросеть допустит её для показа людям.

GAN со сверхвысоким разрешением

Если дискриминирующая сеть может отличить поддельные от настоящих, генерирующая обновляет свои параметры, чтобы создать более качественные изображения. Если ей удается обмануть дискриминирующую, та обновляет свои параметры. Конкуренция улучшает обе сети до тех пор, пока не будет достигнуто равновесие.

Генеративная состязательная сетевая система состоит из двух глубоких нейронных сетей – генерирующей и дискриминирующей. Обе сети тренируются в состязательной игре, где одна пытается генерировать новые данные, а другая – угадать, являются ли они поддельными или реальными.

Сервис по генерации изображений несуществующих людей получил неожиданную популярность среди многочисленных злоумышленников. Используя возможности искусственного интеллекта, они создали в соцсетях фейковые страницы, заполненные реалистичными фотографиями вымышленных пользователей. Поддельные аккаунты используются для онлайн-мошенничества, распространения дезинформации и спама.

Судьба Гудфеллоу и его изобретения сложилась успешно. В 2017 году американские учёные внесли его в список «Лучших молодых новаторов». За несколько последних лет Ян успел поработать в передовых лабораториях по созданию искусственного интеллекта: в Google Brain, в проекте Илона Маска OpenAI и в Apple.

Дискриминатор . Для распознавания используются сверточные нейронные сети (CNN). Принципы работы и применение CNN описаны в отдельной статье. Для понимания “на пальцах”: CNN может распознавать образы на картинках, например, выделять из всего изображения лица, цифры и т.п. Для того, чтобы нейронная сеть научилась что-то распознавать, ей нужно обработать большое количество изображений, где содержатся искомые образы.

Пожалуй, самым известным и скандальным достижением генеративно-состязательных сетей стала продажа на аукционе Christie’s картины, созданной искусственным интеллектом. Полотно под названием «Портрет Эдмонда Белами» (на нём изображен вымышленный человек) ушло в 2018 году с молотка
за 432 500 долларов.

И напоследок, забавный сервис, связанный с нейронными сетями и кошками. Американский учёный Кристофер Гёссе разработал алгоритм edges2cats, что можно перевести как «каракули-в-котов». Он предназначен для превращения нарисованных от руки картинок в фотореалистичные изображения кошек.

Учтите, что входное изображение представляет собой человеческое лицо, которое GAN пытается изменить. Например, атрибутами могут быть формы глаз или ушей. Допустим, генерирующая сеть изменяет реальные изображения, добавляя к ним солнцезащитные очки. Дискриминирующая сеть получает набор изображений: на некоторых из них видны реальные люди в солнцезащитных очках, а на других – очки были добавлены генерирующей сетью.