Учим нейросети рассуждать о том, что они видят

Плюсы использования нейросетей для генерации изображений

Очень часто, когда вы пишете текст, вам необходимо также найти или приложить какие-то иллюстрации. Заказчики бывают лояльными и допускают использование неуникальных изображений. Но гораздо лучше, если вы сможете вместе с текстом предоставлять качественные и уникальные картинки, которые можно сгенерировать с помощью нашей нейросети. Это будет большим плюсом как для вас (выделит на фоне конкурентов), так и для заказчиков (уникальные картинки лучше воспринимаются поисковиками).

NS-CL просматривает фотографии и читает пары «вопрос-ответ», одновременно изучая как визуальные свойства объектов (цвет, форму, размер), так и семантический анализ слов. Результаты оценки нейросети на тестовой выборке CLEVR приведены в таблице ниже. Модель достигает высокого уровня эффективности по сравнению с другими похожими архитектурами — MAC и TbD. Эти нейросети основаны на модели внимания, и для систематического изучения были реализованы четыре их варианта. TbD-Object и MAC-Object вместо одного изображения принимают в качестве входных данных стек объектов, а TbD-Mask и MAC-Mask объединяют маски предметов и с их помощью направляют внимание по изображению.

Специалисты из разных сфер, которые так или иначе связаны с письменным контентом, начинают переживать о том, что ИИ встанет на их место. Безусловно, будущее технологий нельзя достоверно предугадать, но все же сейчас мы видим, что нейросети во многом помогают людям, автоматизируя механические процессы их работы.

Хотя модель NS-CL достигает хорошей точности в изучении визуальных сцен и обобщении результатов на новые композиции, на этом её возможности не исчерпываются. Исследователи планируют обучить её описанию трехмерных объектов, а также перевести предметно-ориентированные команды в обработку естественного языка (как можно было заметить, эффективность обработки естественных запросов пока оставляет желать лучшего).

Для извлечения DSL-программ из изображений используется синтаксический анализатор. Вопросы и характеристики объектов извлекаются из моделей, предварительно обученных на наборах данных MS-COCO и ImageNet соответственно. Нейросеть MAC решает эту задачу с точностью 46.2%, NS-CL достигает точности 44.3%. На рисунке ниже показаны примеры изученных визуальных свойств, включая категории объектов, атрибуты и отношения между ними:

Для оценки способности моделей обобщаться на изображения с новыми композициями используется датасет CLEVR-CoGenT. Он состоит из двух выборок: набор А содержит только серые, синие, коричневые, жёлтые кубы и красные, зелёные, фиолетовые и голубые цилиндры, а в наборе В все эти цвета для кубов и цилиндров противоположны. Если визуальные свойства будут изучены только на выборке А, то получится, что модель станет просто классифицировать форму по цвету. Это приведёт к плохому обобщению для выборки В.

Последний модуль, исполнитель программы, выполняет её на основе полученного представления и отвечает на вопрос. Этот модуль имеет полностью дифференцируемую конструкцию по отношению к визуальным и концептуальным представлениям и поддерживает градиентную оптимизацию во время обучения.

Основываясь на этой концепции, исследователи из MIT создали нейро-символическую сеть (neuro-symbolic concept learner, NS-CL), которая одновременно изучает визуальное восприятие и анализирует семантику слов на основе изображений и пар «вопрос-ответ». NS-CL состоит из трёх модулей. Первый — нейронный модуль восприятия, извлекающий представление об объекте из фотографии. Второй — семантический анализатор для перевода вопросов в исполняемые программы, и третий — символический исполнитель этих программ, который классифицирует свойства и отношения между объектами и обрабатывает ответ на вопрос.

Как работает нейросеть для генерации текста

В современном мире очень важную роль играет искусственный интеллект, поэтому нейросети выходят на первый план при выполнении многих задач, которые требуют ручной работы. И создание качественных изображений — одна из них. И это всё ещё творческая задача, только теперь творчеческой составляющей является не сам процесс рисования пикселей, а задумка и правильное формулирование задачи для нейронной сети. Поэтому целесообразно рассмотреть плюсы и минусы использования ИИ для создания изображений.

Нейросеть работает на базе предварительного анализа большого количества текстовых данных, которые были загружены в нее или найдены в интернете. Для того, чтобы она смогла определять смысл написанного и его стиль, используются специальные алгоритмы машинного обучения. Таким образом, увеличение опыта системы влечет более релевантные результаты ее работы.

Рассмотрим работу каждого модуля нейросети. Как показано на рисунке ниже, модуль восприятия находит объекты на фотографии и извлекает скрытое глубокое представление каждого из них. Для этого используется предварительно обученная нейросеть Mask R-CNN. Ограничивающие параллелепипеды вокруг каждой фигуры вместе с исходным изображением затем отправляются в ResNet-34 для извлечения признаков цвета, формы и расположения.

Человек может посмотреть на небольшое изображение с несколькими объектами, изучить простые вопросы и ответы к нему, а затем легко обобщить полученные знания для крупных сцен с множеством объектов (сцена — это обстановка, то есть совокупность всех объектов на снимке). Чтобы получить такой же результат для нейросети, исследователи разбили набор данных CLEVR на четыре части:

Нейросеть учится в следующем порядке: сначала осваивает отдельные представления об объектах на основе коротких вопросов, а затем — более сложные отношения между несколькими предметами. Это позволяет ей в дальнейшем интерпретировать новые композиции и вопросы к ним.

Нейросеть порой может ошибаться или не всегда получается то, что вам нужно. Поэтому, чтобы не тратить лишнее время на повторные генерации, вы можете прямо на странице генерации задавать количество изображений, которые искусственный интеллект будет создавать одновременно. То есть по одному описанию вы можете получить до 9 изображений. Всё зависит от того, сколько вы сами укажите.

Начало работы с сайтом выглядит следующим образом: при открытии программы необходимо нажать кнопку «Попробовать бесплатно». После этого появится главная страница, в правой части которой будет представлено несколько разделов. Здесь необходимо нажать на вкладку «Генераторы текста» и выбрать одно из предложенных направлений и тем будущего текста. После этого откроется окно для ввода запроса, а также дополнительные инструменты под ним: например, указание ключевых слов, использование эмодзи, желаемое количество символом в итоговом тексте, степень креативности, площадка, на которой будет представлен материал, и т.д. Введя запрос, в окне справа нейросеть покажет результат своей работы.

Также авторы проверили обобщаемость модели на наборе данных Minecraft reasoning dataset, в котором собрано множество скриншотов из игры. Датасет очень сильно отличается от CLEVR: изображения выглядят иначе, и к ним задаются вопросы совершенно других типов. Тем не менее, модель NS-CL достигла на нём 93.3% точности.

Для предпринимателей

Далее авторы провели эксперименты на изображениях MS-COCO и представили результаты в наборе данных VQS. Он содержит подмножество фотографий и вопросов к ним из исходного датасета VQA 1.0. Все вопросы могут быть визуально обоснованы: каждый из них связан с несколькими областями изображения, содержащими ответ. Пример показан на рисунке:

Только посмотрите на картины, которые удалось получить. Звёзды, планеты и другие различные космические объекты и явления. И всё это всего лишь за несколько секунд. Кстати, эти изображения являются уникальными. В интернете вы вряд ли найдёте точно такие же. Ведь даже если вы нажмёте кнопку «Сгенерировать» ещё раз, то получите снова абсолютно новые варианты.

В частности, к таким системам активно стали обращаться журналисты. Так, информационное агентство Bloomberg News порядка трети своего контента делает с помощью нейросети Cyborg, которая умеет обрабатывать отчеты и писать новости. Аналогичные задачи роботы также выполняют в The Washington Post , Associated Press и The Guardian. В последнем, например, нейросеть написала материал про падение политических пожертвований в Австралии.

Нейро-символическая модель может использоваться для обучения роботов, чтобы они смогли связывать между собой какое-либо действие (например, толчок) и его семантическое представление. Это позволит машинам проще и быстрее адаптироваться к сложным интерактивным средам.

Также прямо в интерфейсе есть функции по скачиванию понравившихся изображений и их предпросмотру. На случай если вам надо их покрутить или увеличить вы можете это делать прямо в нашем редакторе. Также мы адаптировали интерфейс для мобильных устройств, поэтому вы можете генерировать картинки прямо с телефона!

Если вы создаёте свой стартап или у вас есть свой бизнес, то красивое оформление ваших интернет-ресурсов и товаров — это ощутимый плюс. Поэтому вы можете генерировать тематические картинки, логотипы и другие изображения, которые могут сильно выделить вас на фоне конкурентов. И просто добавить привлекательности к вашему продукту. Тем более так вы сэкономите много времени и денег на создании визуальной части ваших проектов.