Нейронная сеть Хопфилда

Синхронный режим работы сети [ ]

Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого начального вектора. Затем сеть последовательно меняет свои состояния согласно формуле:

Пусть имеется нейронная сеть размерностью N=100 , в матрицу связей записан набор черно-белых картинок (-1 — черный цвет, +1 — белый), среди которых есть изображение собачки (рис 1б). Если установить начальное состояние сети близким к этому вектору (рис. 1а), то в ходе динамики нейронная сеть восстановит исходное изображение (рис. 1б). В этом смысле можно говорить о том, что сеть Хопфилда решает задачу распознавания образов (хотя строго говоря, полученное эталонное изображение еще нужно превратить в номер класса, что в некоторых случаях может быть весьма вычислительно емкой задачей).

Одним из ключевых этапов обработки экспериментальных данных физики частиц является реконструкция траекторий элементарных частиц, когда для каждого события во взаимодействии частиц необходимо определить, какие хиты, т. е. точки, где был обнаружен пролет какой-либо частицы через детектор, были порождены одной и той же частицей. В планируемом на коллайдере NICA эксперименте SPD особую сложность вызовет чрезвычайно высокая частота взаимодействий (3 МГц), ведущая к перекрытию событий при их съеме в режиме временных промежутков — тайм-слайсов, а также сильное загрязнение данных ложными измерениями из-за особенностей устройства трековых детекторов SPD.

Некоторые авторы относят сеть Хопфилда к обучению без учителя. Но это неверно, т.к. обучение без учителя предполагает отсутствие информации о том, к каким классам нужно относить стимулы. Для сети Хопфилда без этой информации нельзя настроить весовые коэффициенты, поэтому здесь можно говорить лишь о том, что такую сеть можно отнести к классу оптимизирующих сетей (фильтров). Отличительной особенностью фильтров является то, что матрица весовых коэффициентов настраивается детерминированным алгоритмом раз и навсегда, и затем весовые коэффициенты больше не изменяются. Это может быть удобно для физического воплощения такого устройства, т.к. на схемотехническом уровне реализовать устройство с переменными весовыми коэффициентами на порядок сложнее. Примером фильтра без обратных связей может служить алгоритм CC4 (Cornel classification), автором которого является S.Kak.

Принципиальная разница между двумя режимами работы сети состоит в том, что в асинхронном случае сеть обязательно придет к одному устойчивому состоянию. При синхронном же возможны ситуации с бесконечным циклическим переходом между двумя разными состояниями.

В сети Хопфилда есть обратные связи и из-за этого нужно решать проблему устойчивости. Веса между нейронами в сети Хопфилда могут рассматриваться в виде матрицы взаимодействий W. В работе [1] показано, что сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали. Имеется много устойчивых систем, например, все сети прямого распространения, а так же современные рекуррентные сети Джордана и Элмана, для которых не обязательно выполнять условие на симметрию. Но это происходит вследствие того, что на обратные связи наложены другие ограничения. В случае сети Хопфилда условие симметричности является необходимым, но не достаточным, в том смысле, что на достижение устойчивого состояния влияет еще и режим работы сети. Ниже будет показано, что только асинхронный режим работы сети гарантирует достижение устойчивого состояния сети, в синхронном случае возможно бесконечное переключение между двумя разными состояниями (такая ситуация называется динамическим аттрактором, в то время как устойчивое состояние принято называть статическим аттрактором).

Ассоциативная память [ ]

Определить устойчиво или нет состояние нейрона можно на основании, так называемой искусственной энергии нейрона в данном поле E i = − s i h i . Если знак выхода (+1 или -1) нейрона совпадает с направлением локального поля ( E i < 0 ), то его положение энергетически устойчиво и в последующий момент времени состояние нейрона остается неизменным. В противном случае ( E i > 0 0> ) положение нейрона неустойчиво и он меняет свой знак, переходя в состояние s i ( t + 1 ) = − s i ( t ) с энергией E i ( t + 1 ) < E i ( t ) .

где F — активационная функция, X ( t ) и X ( t + 1 ) — текущее и следующее состояния сети, до тех пор, пока состояния X ( t ) и X ( t + 1 ) не совпадут (или, в случае синхронного режима работы, не совпадут состояния X ( t − 1 ) с X ( t + 1 ) и одновременно X ( t − 2 ) с X ( t ) ). Именно этот процесс называется конвергенцией сети.

где F — активационная функция, X i и X i + 1 > — текущее и следующее состояния сети, до тех пор, пока состояния X i и X i + 1 > не совпадут (или, в случае синхронного режима работы, не совпадут состояния X i − 1 > с X i + 1 > и одновременно X i − 2 > с X i ). Именно этот процесс называется конвергенцией сети. Полученное устойчивое состояние X i (статический аттрактор), или, возможно, в синхронном случае пара < X i , X i + 1 > > (динамический аттрактор), является ответом сети на данный входной образ.

Устойчивость при асинхроном способе достигается потому, что выполняется условие на общую энергию сети E ( t + 1 ) ≤ E ( t ) , в синхронном случае условие несколько изменяется, а именно: E ( t + 1 ) ≤ E ( t − 1 ) . В ситуации когда происходит бесконечные циклические переходы энергия двух разных состоянияй соответственно равна E ( t ) и E ( t + 1 ) . При этом состояния t + 1 и t − 1 , а также t и t + 2 — совпадают. Если образуется такое состояние, то его называется динамическим аттрактором. Если же совпадают состояния t и t + 1 , аттрактор называют статическим. В большинстве случаев динамические аттракторы являются нежелательными, так как не соответствуют какому-либо определенному ответу сети.

«Мне кажется, что комитет решал какую-то странную политическую задачу. Искусственный интеллект (ИИ) ворвался в нашу жизнь и уже довольно сильно ее преобразил, и понятно желание многих организаций быть причастными к процессу. Но все же ИИ не подходит ни под одну из номинаций Нобелевского комитета, а вводить новые они не имеют права. Поэтому они по физике решили наградить людей, чьи достижения на самом деле лежат в области вычислительной математики, по которой, как известно, они не могут присуждать никаких премий», — заявил он.

Алгоритм обучения сети Хопфилда имеет существенные отличия в сравнении с такими классическими алгоритмами обучения перцептронов как метод коррекции ошибки или метод обратного распространения ошибки. Отличие заключается в том, что вместо последовательного приближения к нужному состоянию с вычислением ошибок, все коэффициенты матрицы рассчитываются по одной формуле, за один цикл, после чего сеть сразу готова к работе. Вычисление коэффициентов базируется на следующем правиле: для всех запомненных образов X i матрица связи должна удовлетворять уравнению

Однако обработка визуальных образов (фильтрация и ассоциативная память) — не единственная область применения модели Хопфилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать Ограничения сети [ ]

Во время работы сети Хопфилда признаком нахождения решения является момент, когда достигается аттрактор, статический (когда на каждом следующем шаге повторяется устойчивое состояние X ( t ) ) или, возможно, динамический (когда до бесконечности чередуются два разных состояния < X ( t ) , X ( t + 1 ) >). Это конечное состояние сети и является ее реакцией на данный образ.

Примечания [ ]

«Конечно, это поклон не в сторону LGBTQ* и прочих таких букв, спасибо и на том. Но все же, как мне кажется, комитет сильно подпортил себе репутацию на ровном месте. Хинтон, Лекун и Бенджио уже получили премию Тьюринга в 2018 году, престижнейшую в компьютерных науках, и это было правильно. А что теперь думать физикам? Что больше физика вообще никому не нужна? Давайте доведем до логического конца и присудим создателям ChatGPT нобелевку по литературе».

Ученые Лаборатории информационных технологий им. М. Г. Мещерякова ОИЯИ изучили методы на основе нейронной сети Хопфилда для трекинга (реконструкции траекторий) модельных событий эксперимента SPD, предложив оптимизацию параметров построения функции энергии нейросети. Оптимизация позволит улучшить результаты трекинга с учетом специфики эксперимента. Также исследователи рассмотрели вопрос применимости квантового отжига для решения задачи трекинга SPD.

Обычно ответом является такое устойчивое состояние, которое совпадает с одним из запомненных при обучении векторов, однако при некоторых условиях (в частности, при слишком большом количестве запомненных образов) результатом работы может стать так называемый ложный аттрактор («химера»), состоящий из нескольких частей разных запомненных образов, а также в синхронном режиме сеть может прийти к динамическому аттрактору. Обе эти ситуации в общем случае являются нежелательными, поскольку не соответствуют ни одному запомненному вектору — а соответственно, не определяют класс, к которому сеть отнесла входной образ.

«Кажется, это решение кроме как “физикой” объяснить вообще невозможно. Решили не давать одному человеку, во-первых, а во-вторых, дополнительно притянуть к физике. Таких моделей, как сеть Хопфилда, в машинном обучении известно штук десять, а может — двадцать. И большинство из них оказались тупиками, это не то, что “проросло” в диплернинге. Где сейчас сети Хопфилда используются в реальности, я понятия не имею».

Еще в 1980-х годах Б. Денби и К. Петерсон предложили использовать для трекинга нейросеть Хопфилда – полносвязную рекуррентную сеть бинарных нейронов с симметричной весовой матрицей. Нейроны в их сети соответствуют паре хитов, то есть сегменту возможного трека. Веса сети задаются так, чтобы обеспечивать гладкость траектории, то есть малость угла между смежными сегментами, награждая гладкие и не ветвящиеся треки. При эволюции активации нейронов к точке равновесия функция энергии сети Хопфилда сходится к минимуму, который соответствует хорошему результату трекинга. Использование метода симуляции отжига помогает искать глобальный минимум энергии сети. Несмотря на успех первых применений, интерес к использованию сетей Хопфилда для трекинга быстро угас из-за медленности их сходимости, их сверхчувствительности к шумовому фону и прежде всего из-за роста множественности событий, вызванного стремительным ростом светимости пучков частиц и развитием экспериментальных технологий. Тем не менее, в последнее время, благодаря развитию квантовых компьютеров и методов квантового отжига, позволившим радикально ускорить эволюцию сетей Хопфилда, интерес к нейросетевому трекингу Хопфилда резко возобновился.

В сети Хопфилда матрица связей является симметричной w i j = w j i =w_> , а диагональные элементы матрицы полагаются равными нулю ( w i i = 0 =0> ), что исключает эффект воздействия нейрона на самого себя и является необходимым для сети Хопфилда, но не достаточным условием, устойчивости в процессе работы сети. Достаточным является асинхронный режим работы сети. Подобные свойства определяют тесную связь с реальными физическими веществами называемыми Обучение сети [ ]

В процессе работы динамика таких сетей сходится (конвергирует) к положению равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети. Примером использования нейронной сети Хопфилда является восстановление испорченного изображения.

Если работа сети моделируется на одном процессоре, то при синхронном режиме последовательно просматриваются нейроны, однако их состояния запоминаются отдельно и не меняются до тех пор, пока не будут пройдены все нейроны сети. Когда все нейроны просмотрены, их состояния одновременно (т.е. синхронно, отсюда и название) меняются на новые. Таким образом, достигается моделирование параллельной работы последовательным алгоритмом. При реально параллельном моделировании, этот режим фактически означает, что время передачи τ i j > для каждой связи между элементами u i и u j одинаковое для каждой связи, что приводит к параллельной работе всех связей, они одновременно меняют свои состояния, основываясь только на предыдущем моменте времени. Наличие таких синхронных тактов, которые можно легко выделить и приводит к пониманию синхронного режима. При синхронном режиме возможно (хотя и далеко не всегда наблюдается) бесконечное чередование двух состояний с разной энергией — так называемый динамический аттрактор. Поэтому синхронный режим практически для сети Хопфилда не используется, и рассматривается лишь как основа для понимания более сложного асинхронного режима.