Квантовая нейросеть поможет распознать изображения

Функция потерь#

Ученые уже давно используют симбиоз предсказательных алгоритмов и квантовых вычислений. Например, физики используют машинное обучение для предсказания динамики многочастичных систем, на которых строятся кубиты, а квантовые вычисления, в свою очередь, могут помочь ускорить классические алгоритмы обучения. Одна из областей такого машинного обучения включает в себя создание квантовой нейросети, способной обучаться на квантовых данных. Для создания такой сети ученым необходимо реализовать искусственный нейрон в квантовых системах, разработать архитектуру сети и модель обучения.

«Допустим, у вас есть несколько изображений и вам надо каким-то образом их расклассифицировать, то есть простым языком, компьютер должен посмотреть на изображение и назначить ему одну из меток. Само изображение, конечно, компьютер не видит, он видит лишь огромную сетку из чисел. Расклассифицировать изображения в таком случае поможет метод машинного обучения, который использует большую базу данных, обучаясь на них и находя какие-то паттерны в изображениях, подаваемых на вход. Данную задачу мы решаем с помощью квантового машинного обучения, которое основано на квантовых сверточных нейронных сетях и видим потенциал развития данного подхода», — рассказала Алёна Мастюкова, младший научный сотрудник лаборатории квантовых информационных технологий НИТУ МИСИС и РКЦ.

Физики обобщили концепцию искусственного перцептрона до квантовых систем и разработали квантовую нейросеть, способную производить произвольные вычисления. Нейросеть показала хорошую предсказательную способность в задаче определения случайного многокубитного преобразования даже на шумной выборке, а метод обучения, представленный учеными, потенциально дает экспоненциальное ускорение в обучении глубоких нейросетей. Работа опубликована в Nature Communications.

Зачастую в литературе по VQC, особенно когда речь идёт о нейронных сетях, упоминается такая вещь как ansatz – по своей сути это заранее подготовленные участки параметрической схемы, которые могут быть использованы как составные блоки сети. Если проводить параллели с классическим машинным обучением, то в рамках библиотеки PennyLane эти схемы называются templates (шаблоны) и могут представлять собой, например, свёрточный слой или эмбеддинг, а также более общие элементы квантовой схемы вроде подготовки состояний или перестановок между кубитами. Более подробно мы остановимся на них слегка позже в курсе, в одной из следующих глав, а пока что в общих чертах пройдёмся по обучению квантовых нейронных сетей без сложностей внутренней кухни.

Физики из Ганноверского университета имени Лейбница под руководством профессора Рамоны Вульф (Ramona Wolf) представили квантовый аналог классической модели нейронов, которые формируют нейросети с прямой связью. Такие сети, например, могут производить универсальные квантовые вычисления.

В идеале этот подход подразумевал бы, что при помощи классического оптимизатора мы обучаем некоторую параметрическую схему на квантовом вычислителе, однако в текущих реалиях NISQ этот подход невозможен, поэтому большая часть параметрической схемы остаётся на классических вычислителях. В данном блоке мы поговорим о подходе, связанном с QNN Classifiers, которые следуют вышеупомянутому принципу и обучаются градиентным спуском практически так же, как и обычные классические сети, позволяя градиенту протекать между квантовой и классической частью сети.

В качестве примера работы сети ученые рассматривали задачу получения случайной матрицы из ограниченного набора случайных входных и выходных векторов квантовых состояний, чья размерность меньше ширины сети. Нейросеть показала хорошую динамику обучения и, более того, устойчивость к шумным данным.

В первом примере была построена полностью квантовая генеративная состязательная сеть, задачей которой являлось воспроизвести MNIST, однако у всего эксперимента был один нюанс. Из-за текущего размера квантовых вычислителей было предложено уменьшить размерность MNIST с 784 до 4 при помощи метода главных компонент (PCA), чтобы его хоть как-то можно было отправить в квантовую схему. Очевидно, сеть такого размера не в состоянии тягаться с классическими сетями на десятки тысяч весов, поэтому конечным результатом стало сравнение по количеству весов при идентичных результатах. Полностью квантовая сеть смогла получить такие же результаты, как и классическая, при это имея на 95% меньше параметров. Эти результаты всё ещё поднимают вопрос того, будут ли они справедливыми для моделей, адекватно справляющихся с задачей.

Введение#

Квантовые процессоры, которые в перспективе смогут манипулировать огромными объёмами данных и превзойти классические компьютеры в определенных задачах, позволят реализовать квантовое машинное обучение. При переходе машинного обучения на квантовые компьютеры часть процессов может ускориться в несколько раз, а другая часть — в миллионы, соответственно квантовые нейронные сети будут оперативнее и эффективнее обычных.

Элементарный блок такой нейросети — это квантовый перцептрон, аналог перцептронов, используемых в классическом машинном обучении. Для реализации перцептрона физики использовали локальную унитарную операцию, которая преобразовала состояние m кубитов в состояние n кубитов — такая операция имеет 2 2(m+n) -1 параметров. В качестве входных данных использовалось квантовое состояние входного слоя кубитов, а в качестве предсказания ученые получали состояние выходного слоя кубитов.

Для обучения необходимо ввести метрику работы нейросети, функцию потерь, которая в дальнейшем минимизируется. В силу того, что роль входных и выходных данных играют квантовые состояния, естественная функция потерь — это обратная надежность (fidelity), которая показывает как близко данное квантовое состояние к желаемому. Если состояния совпадают, то обратная надежность принимает значение 0, если состояния максимально отличаются, то 1. Для обучения сети физики изменяли параметры локальных унитарных преобразований для того, чтобы максимизировать надежность, усредненную по обучающей выборке.

Российские физики из НИТУ МИСИС, Российского квантового центра и МГУ впервые в мире представили метод классификации фотографий с высокой точностью для классов изображений, основанный на архитектуре квантовой сверточной нейронной сети. Для этого ученые улучшили структуру квантовой схемы и модель квантового персептрона — модель восприятия информации мозгом, которая необходима для процесса обучения нейронной сети. Статья об исследовании в области квантового машинного обучения опубликована в журнале Frontiers in Physics.

В последнее время нейронные сети активно применяется для решения широкого круга вычислительных задач. На данном этапе мощность классических компьютеров перестает расти — это значит, что для развития машинного обучения необходим новый подход к обучению нейросетей.

Во втором примере была построена гибридная квантово-классическая генеративная состязательная сеть, задачей которой являлось воспроизвести QM-9 – популярный датасет молекул до 9 атомов, представленный молекулярным графом в виде матрицы 9 на 9 и атомарным вектором из 9 элементов. Генеративная часть модели состояла из нескольких квантовых схем и, по большей части, классической сети, предсказывающей узлы и связи между ними. Дискриминативная часть была полностью классической во всех вариациях модели. В конечном итоге им удалось добиться снижения числа параметров по сравнению с полностью классической сетью на 85% и, при увеличении числа кубитов, на 98%. Таким образом они показали, что комбинация классических и квантовых схем должна соответствовать той же самой закономерности, что и полностью квантовые сети.

Сеть от начала до конца#

Интересная особенность представленного метода обучения заключается в том, что параметры локальных преобразований могут быть вычислены послойно, то есть без необходимости применения преобразования ко всем кубитам — в результате количество изменяемых параметров масштабируется лишь с шириной сети (числами m и n), что позволяет обучать очень глубокие нейросети.

«Мы впервые реализовали предложенный подход для решения задачи классификации классов изображений — рукописные цифры и предметы одежды, используя восемь кубитов для кодирования данных и четыре вспомогательных кубита. Соответствующая процедура машинного обучения была реализована в виде гибридной квантово-классической (вариационной) модели. Данный подход можно реализовать как на эмуляторах, так и на реальных квантовых процессорах. Квантовое машинное обучение — одно из наиболее интересных направлений применений квантовых компьютеров», — пояснил Алексей Федоров заведующий лабораторией квантовых информационных технологий НИТУ МИСИС и РКЦ.

Как уже было упомянуто в лекции по VQC , на данный момент квантовые вычислители ещё недостаточно развиты для того, чтобы в одиночку решать большие задачи, имеющие практическое значение для индустрии – это в особенной степени актуально для нейронных сетей, которые и в классическом сценарии требуют значительных вычислительных ресурсов. Именно поэтому на данный момент наиболее популярна категория гибридных вариационных алгоритмов, которые обучают квантовую параметрическую схему (QNN) при помощи классической оптимизации, например, VQ Eigensolvers и Quantum Approximate Optimization Algorithms. В общем и целом идея гибридных алгоритмов заключается в оптимизации над некоторым классом параметрических вычислений для минимизации энергии волновой функции (VQE/QAOA), экстракции нелокальной информации (QNN Classifiers) или генерации данных, соответствующих квантовому распределению (Quantum Generative Models).

Российские физики лаборатории Квантовых информационных технологий Университета МИСИС совместно с коллегами из Российского квантового центра и МГУ впервые представили метод многоклассовой классификации изображений классов с высокой точностью, основанный на архитектуре QCNN. Исследователи усовершенствовали оптимизированную структуру квантовой схемы и квантовую модель персептрона — математическую или компьютерную модель восприятия информации мозгом в виде некоторой логической схемы с переходами, ассоциативными и реагирующими элементами, которая является элементарным блоком нейронной сети. Предложенный классификатор ученые тестировали на различных выборках из четырех изображений рукописных цифр или фотографий одежды и обуви.

Функция потерь работает таким же образом, как и в полностью классических сетях, так как оптимизация происходит на классическом железе. Единственное, что отличается, – это объединение квантовых и классических градиентов. Градиент по нашей квантовой схеме получается при помощи замера состояния, которое может варьироваться из-за вероятностной природы кубита, поэтому несколько замеров позволяют аппроксимировать ожидаемый градиент при помощи методов вроде finite differences или parameter-shift , после чего остаётся только совместить его с классическим градиентом.

Интересно, но термин anzatz пришел в квантовые вычисления и QML из теоретической физики. Этот термин имеет немецкое происхождение, так как в первой половине XX века именно немецкие научные журналы были самыми передовыми. Частое употребление этого термина в отношении квантового машинного обучения объясняется тем, что большая часть специалистов в этой области это именно люди, занимающиеся теоретической физикой.

Алгоритмы машинного обучения обладают высокой вычислительной сложностью. Сейчас, когда мощность классических компьютеров перестает расти (начинает нарушаться закон Мура), необходим новый подход к обучению, что влечет за собой фундаментально другую реализацию нейросети. В то же время квантовые устройства, способные превзойти классические компьютеры в определенных задачах, позволяют реализовать квантовое машинное обучение.

Квантовые сверточные нейронные сети (QCNN) представляют собой ряд сверточных слоев или последовательностей квантовых операций, чередующихся со слоями объединения, которые вместе уменьшают размер хранимой информации, сохраняя при этом важные функции набора данных.