Интерпретация строения мозга с помощью рекуррентных нейронных сетей

От чего зависит нейропластичность

Это интересно. Существует теория, что именно наша нейропластичность — виновник фантомных болей при ампутации конечностей.Ученые полагают, что когда область, отвечающая за ощущения, идущие от ампутированной руки или ноги, «лишается работы», соседние области спешат взять их функцию на себя. В результате та часть тела, за которую они отвечали изначально, начинают воспринимать ощущения «за себя и за того парня» (то есть, ампутированную конечность).

Нейронными сетями занимаются специалисты по машинному обучению. Они не пишут программы, основанные на алгоритмах: вместо этого они создают модель и обучают ее, а потом тестируют, насколько хорошо она работает. Есть отдельные компании, специализирующиеся на разработке нейросетей, а есть продуктовые отделы крупных IT-организаций, например Google.

Нейросеть повторяет этот же принцип, но программно. Нейроны — это программные объекты, внутри которых хранится какая-то формула. Они соединены синапсами — связями, у которых есть веса: некоторые числовые значения. Веса отражают накопленную нейросетью информацию, но сами по себе, в отрыве от сети, не несут информационной ценности.

Синапс — это промежуток между двумя нейронами, где они обмениваются информацией. Активный нейрон выпускает в синапс нейротрансмиттеры, которые сообщают пассивному, что ему делать: активироваться или оставаться пассивным. В нашем мозгу около ста миллиардов нейронов, каждый из которых связан с тысячами других, и процесс «общения» между ними занимает доли секунды. Синаптическая нейропластичность — это «привычка» нейронов к тому, что некий конкретный нейрон часто возбуждает своего «соседа». Иными словами, если нейроны часто общаются, им хочется делать это чаще и чаще. Совсем как людям.

Отслеживание нейритов на снимках с электронного микроскопа — пример сегментации изображений. Современные алгоритмы, автоматизирующие этот процесс, разделяют задачу на два этапа. Сначала выполняется поиск границ между нейритами с помощью классификатора или детектора границ. Для этого используется информация об интенсивности вокселов. Затем вокселы, которые не разделены границей, группируются в отдельные сегменты посредством методов водораздела или разреза графа.

Синапсы. Синапс — это связь между нейронами. У каждого синапса есть веса — числовые коэффициенты, от которых как раз и зависит поведение нейронной сети. В самом начале, при инициализации сети, эти коэффициенты расставляются случайным образом. Но в ходе обучения они меняются и подстраиваются так, чтобы сеть эффективнее решала задачу.

Как работает нейронная сеть

Искусственная нейронная сеть — не модель человеческого мозга: даже самые мощные из существующих сетей не могут достигнуть таких мощностей и подобного количества нейронов. В человеческом мозгу огромное количество нервных клеток — десятки миллиардов. В искусственных нейросетях намного меньше нейронов. Для создания нейронной сети, по возможностям равной человеческому мозгу, сейчас нет мощностей.

Эта метрика — частный пример средней наработки на отказ, но в этом случае измеряется длина пространства между ошибками, а не время. ERL связывает отслеживаемый путь с частотой отдельных ошибок, допущенных алгоритмом. Для исследователей это играет важную роль, поскольку конкретные числовые значения ERL могут указывать на биологически значимые величины, такие как средняя длина пути нейронов в разных частях нервной системы.

Но по какой логике пересчитываются веса, понять можно. В ходе обучения нейросеть анализирует данные, а потом ей дают правильный ответ. Этот ответ для нее — числовое значение. Поэтому она подгоняет веса так, чтобы в своей работе сеть приближалась к эталонному значению. Мы подробнее расскажем об этом процессе ниже, когда поговорим про обучение.

Кроме того, есть входной и выходной слои. Входной принимает информацию и преобразовывает ее, например переводит картинку в матрицу из чисел. Выходной обрабатывает результат и представляет его в понятном человеку виде. Например, результат 0,77827273 он представит как «с точностью в 78% это такой-то предмет».

Когда-то считалось, что мозг взрослого не пластичен, но оказалось, что это не так. Отдельные нейроны и целые структуры могут менять связи и формировать их, адаптируясь к изменениям. Термин «нейропластичность» был введен польским нейрофизиологом Ежи Конорским еще в середине прошлого века, но исследовать нейропластичность начали сравнительно недавно.

Структура. Нейросеть состоит из искусственных нейронов, которые соединяются между собой. У самой примитивной нейронной сети один слой нейронов, у более сложных — несколько. Часто каждый слой занимается своей задачей, например, один распознает, другой преобразует.

На нейропластичности основаны методы, связанные с биологической обратной связью. Эти методы позволяют лучше научить мозг управлять разными функциями организма, например, зрением при некоторых видах его нарушения. Метод предполагает тренировки с приборами, дающими обратную связь при выполнении специальных упражнений. По-видимому, наше зрение на три четверти делает мозг. Обучаясь адаптироваться к тем особенностям зрения, которые невозможно исправить, можно научить мозг корректировать неверную картинку и «неправильными» глазами видеть более «правильно». В школах зрения нейропластичность используется путем выполнения специальных заданий: читать надписи разного цвета и размера, оценивать расстояние до объекта. Задания предлагает программа, оценивающая прогресс пациента.

В основе FFN лежит 19-слойная 3D-CNN (трёхмерная свёрточная нейросеть) со слоями без дополнения (SAME) — это значит, что для каждого слоя вход и выход имеют одинаковый размер. Во всех слоях используется функция активации ReLU, ядра 3x3x3 и карта признаков размером 32 (кроме последнего слоя). Последний слой выполняет свёртку по вокселам, объединяющую входные данные от всех карт признаков (размер ядра 1x1x1).

Нейросеть — аналог мозга?

Перцептроны — Это классические нейронные сети, изначально однослойные, позже многослойные. Сейчас используются в основном для вычислений. Сверточные нейронные сети — Это многослойные сети, которые состоят из чередующихся сверточных и субдискретизирующих слоев и предназначены специально для работы с изображениями. Рекуррентные нейронные сети Их особенность в возможности последовательно обрабатывать цепочки данных и «запоминать» предыдущую информацию. Поэтому их применяют для работы с изменяющимися сведениями или длинными цепочками данных, например рукописными текстами. Генеративные нейронные сети Предназначены для создания контента. Иногда используются генеративно-состязательные нейросети — связка из двух сетей, где одна создает контент, а другая оценивает его качество.

В основе искусственной нейронной сети лежит устройство нервной ткани человека. Она состоит из нервных клеток, связанных между собой длинными отростками. В клетках происходят нервные импульсы, они передаются по отросткам в другие клетки. Таким образом нервная ткань обрабатывает или генерирует информацию. Сами импульсы очень сложно расшифровать: это не понятные человеку данные, а набор слабых электрических токов, которые нейроны воспринимают как информацию.

Для эффективного обучения нужно много повторений. Иначе нейронная сеть будет работать неточно — ведь входные данные могут серьезно различаться, а она окажется натренирована только на один возможный вариант. Поэтому обучение проводится в несколько итераций и эпох.

На этом основан принцип реабилитации мозга после травмы или инсульта. Предположим, у пациента плохо работает левая рука. Ему предлагают ограничить движения здоровой руки и попробовать действовать поврежденной. Мозг начинает увеличивать размеры зоны, отвечающей за поврежденную руку, вовлекая в процесс управления рукой здоровую часть двигательного отдела, включая соответствующие зоны в противоположном полушарии. Таким образом, мозг реорганизует свою деятельность, адаптируется, и рука начинает шевелиться лучше.

Чтобы разобраться в работе биологических нейронных сетей, необходимо визуализировать мозговую ткань в 3D с разрешением порядка нанометров. Обычно это делается с помощью электронных микроскопов. Затем полученные изображения анализируются для отслеживания нейритов и идентификации отдельных синаптических соединений.

Но разработки в этом направлении ведутся — правда, пока такие проекты находятся на стадии исследований. И даже с небольшим по сравнению с мозгом количеством нейронов нейросети могут достигать поразительных результатов в обучении. Некоторые даже проходят тест Тьюринга, но с оговоркой: сознания у них нет, просто они хорошо научились имитировать его наличие. Иногда даже человек не всегда способен распознать в своем собеседнике нейронную сеть.

FFN имеет два входных канала: один для 3D-изображений, другой — для текущего состояния карты прогнозируемых объектов (Predicted Object Map, POM). POM использует вещественный диапазон значений от 0 до 1 и кодирует оценку принадлежности воксела к сегментируемому объекту. На каждой итерации данные POM обновляются для всех вокселов в текущем поле зрения нейросети, а затем снова отправляются на вход.

Работа FNN пока ещё требует дополнительного исправления ошибок вручную. Но автоматизация вносит существенный вклад: сотрудники Института Макса Планка теперь могут глубже изучать мозг певчих птиц. Это приблизит их к пониманию того, как именно зебровые амадины поют свои песни.