Взаймы у природы

История

В биологии такого нет: нейроны проводят сигнал только в одну сторону и не имеют единого центра исправления ошибок. Реализовать такое обучение в нейроморфных нейросетях можно через локальное обучение. Наиболее популярный подход к такому обучению называется STDP (spike timing dependent plasticity). Его идея состоит в том, что синапсы, на которые сигналы пришли незадолго до генерации импульса нейроном, усиливаются, а синапсы, получившие импульс вскоре после этого, ослабляются. При таком подходе коррекция весов сети происходит за один проход сигнала по сети. В перспективе это позволит дешевле и эффективнее обучать большие модели.

Нейронные сети могут использоваться для решения задач из любых отраслей, но есть тонкости. Нейросети хорошо справятся только в тех случаях, когда задача уже была решена другими способами и есть накопленный объём релевантных данных. Новая задача — это область знания, к которой нейросеть вряд ли сможет подступиться. Если помимо данных важен ещё и контекст, лучше решить задачу без помощи нейросетей.

Японские специалисты также работают в этой области. Они научили ChatGPT диагностировать опухоли мозга по снимкам МРТ с точностью сертифицированного врача. Точность нейросети составила 73%. Нейрорадиологи и радиологи общего профиля оценивали такие же снимки с точностью 72% и 68% соответственно.

Правда, каждый нейрон перцептрона был не сложной и развивающейся во времени живой клеткой, а математической функцией, которая выводила сигнал в зависимости от результата суммирования входных сигналов. Перцептрон состоял всего из трех слоев, между которыми все нейроны были связаны друг с другом, в отличие от структуры нейронных связей живого мозга, которая настолько сложна, что ученые до сих пор способны описывать только маленькие ее кусочки.

В 1937 году Джон Захари Янг описал механизм передачи электрохимических сигналов нейронами на примере гигантского аксона кальмара. После войны идеями строения мозга вдохновлялся отец современных вычислительных систем физик и математик Джон фон Нейман, а нейрофизиолог Фрэнк Розенблатт создал первую искусственную нейросеть — перцептрон, который состоял из связанных друг с другом нейронов.

Человеческий мозг, сознание, интеллект и их связь всегда считались одной из величайших тайн науки. Именно развитие наук о мозге в XX веке привело к тому, что ученые попытались создать «искусственный» мозг — нейросети. Рассказываем, как развивались представления о мозге, как они привели к появлению нейросетей и как российские исследователи пытаются сделать компьютерный мозг похожим на человеческий.

Распознавание речи

Например, в 2024 году российские ученые из Университета Лобачевского разработали нейросеть, которая работает на принципах взаимодействия клеток головного мозга. Подобные системы называют биологическими нейросетями третьего уровня или спайковыми нейросетями. В частности, российские специалисты первыми в мире включили в нейросеть элементы, которые имитируют астроциты (вспомогательные клетки мозга). Модель делится на три слоя: пирамидальные нейроны, воспринимающие сигналы; вставочные нейроны, распространяющие эти сигналы по сети; и астроциты. Между искусственными нейронами передавались сигналы, подобные электрическим импульсам в мозге, а между астроцитами и от них нейронам — сигналы, имитирующие химические вещества, которые выделяются клетками в мозге. Такой подход повысил эффективность нейросети на 20%.

Таким образом, важнейшее свойство мозга, которое может повысить энергоэффективность нейросетей, — это импульсный характер передачи информации, то есть передача сигналов в виде последовательности импульсов во времени. При этом каждый импульс не имеет никаких других свойств, кроме времени отправки. Благодаря этому работа нейрона в такой системе сводится к простым реакциям на приход спайков, и реализовать их обработку можно в виде очень простой цифровой или аналоговой схемы.

У мозга есть и другие преимущества перед нейросетями с классической архитектурой. В то время как GPT-3 требует десятки терабайт текста, чтобы научиться их писать, человеку достаточно несколько учебников и рабочих тетрадей для начальной школы. Да и в принципе учиться люди умеют намного лучше: если классическую нейросеть обучить сначала одной задаче, а потом другой, то после окончания второго раунда «обучения» она полностью забудет все, чему научилась на первом, — таковы особенности классических методов обучения нейросетей. Люди же довольно неплохо умеют сохранять знания между разными задачами, и только устройство самого мозга может подсказать нам, как этого добиться.

Например, чтобы научить нейросеть управлять беспилотным автомобилем, нужно смоделировать поведение человека-водителя, который во время движения должен распознавать дорожные знаки и разметку, реагировать на сигналы светофора, прогнозировать поведение других водителей и замечать людей, которые оказались на дороге. Для решения каждой из этих задач в беспилотном автомобиле работает отдельная нейросеть [3] .

Биологические нейроны обладают еще одной важной особенностью: они одновременно являются и вычислительными устройствами, и устройствами памяти, которые хранят информацию о силе синаптических связей с другими нейронами и концентрации нейротрансмиттеров разных типов в каждом синапсе.

На мозг как на орган, связанный с принятием решений, первыми посмотрели древние греки. Это сделал Алкмеон Кротонский, живший в V веке до н.э. Однако его теория «проиграла» в научном споре той, в которой чувства и прочая «высшая нервная деятельность» помещались в сердце. Только в Средние века ученые объявили мозг мыслительным органом. Однако основное внимание философы того времени уделяли не серому веществу, которое сегодня признается главным компонентом нервной системы, а желудочкам — системе полостей, которые заполнены спинномозговой жидкостью. Даже Леонардо да Винчи, изучавший в том числе мозг, придерживался этой концепции — он сумел получить слепки желудочков при помощи расплавленного воска.

«Математик и философ Рене Декарт стал первым, кто «назначил» мозг местом соединения души и тела, то есть интеллектуальных и физиологических функций. Более того, он указал точное место этого соединения — эпифиз или шишковидная железа. Нервная система в концепции Декарта была механистическая, по нервам туда-обратно, словно воздух по трубам, бегали «команды» для организма. Декарт даже сформулировал концепцию рефлекса, которую потом довел до совершенства Иван Петрович Павлов, первый российский лауреат Нобелевской премии», — рассказал Алексей Паевский, главный редактор крупнейшего в России сайта о нейронауках «Нейроновости».

Классические нейросети работают очень похоже на обычные компьютеры. Каждый нейрон можно описать всего несколькими числами, задающими наличие и важность входящих сигналов. На следующем шаге вычислений на основе этих чисел функция активации определяет для каждого нейрона, считается ли его исходящий сигнал включенным или нет. И в результате каждый нейрон классической нейросети обсчитывается на каждом вычислительном шаге компьютера.

Несмотря на то что мы все еще многого не понимаем, нейрофизиология сегодня является ценнейшим источником информации для разработчиков систем ИИ, так же как она была для них вдохновением больше полувека назад. Внедрение свойств мозга в искусственные системы уже не раз давало толчок развитию систем ИИ и сделает это еще не раз, потому что сложность и эффективность устройства человеческого мозга все еще намного превосходят наши нейроморфные системы. Нам предстоит еще много циклов внедрения в наши интеллектуальные системы все более тонких и сложных идей, которые природа разработала в процессе эволюционного развития мозга.

Требовательный интеллект

Для того чтобы реализовать эту особенность человеческого мозга — возможность вычисления в памяти, — используют либо аналоговые, либо гибридные цифровые системы. В гибридных системах много нейронов одновременно вычисляется на одном из многих параллельных процессоров, каждый из которых обладает собственной памятью. В аналоговых системах каждый нейрон обрабатывается собственной электрической схемой. Такие схемы часто используют особые электрические элементы — мемристоры, которые способны изменять свое сопротивление в зависимости от протекающего через них электрического заряда и тем самым выполнять функцию встроенной в вычислительную схему памяти. Вычисления в памяти избавляют систему от конкуренции за доступ к памяти и позволяют не тратить большое количество ресурсов на частый перенос промежуточных данных между памятью и процессором.

Другое важное достижение — созданная с помощью ИИ полная карта трехмерная карта мозга взрослой мушки-дрозофилы. Карта содержит данные обо всех 140 тысячах нервных клеток и 50 млн синапсов, соединяющих эти нейроны друг с другом. «Создание атласа мозга взрослой дрозофилы стало возможным благодаря развитию технологий искусственного интеллекта. Вручную нам никогда не удалось бы расшифровать то, как соединены и связаны друг с другом все нейроны в нервной системе этих насекомых. Наш проект является наглядной демонстрацией того, как ИИ ускоряет развитие нейронаук», — рассказывали ученые из Принстонского университета.

А ученые из Нижегородского государственного университет имени Н. И. Лобачевского летом сообщили о создании нейросети, которая помогает прогнозировать и стимулировать активность гиппокампа. «Мы записали множество сигналов в здоровом гиппокампе, загрузили эти данные в нейросеть и научили ИИ прогнозировать электрическую активность гиппокампа. Нам удалось воспроизвести сигналы, предсказанные искусственным интеллектом, в поврежденном участке мозга и «запустить» нерабочий гиппокамп», — рассказывали ученые.

Первая революция в нейронауках произошла в XIX веке. В 1838–1839 годах Теодор Шванн и Матиас Шлейден разработали клеточную теорию, то есть предположили, что все существа состоят из клеток. Однако нервная ткань в микроскоп видна плохо, поэтому первые зарисовки нейронов вообще напоминали запятые — ученые видели только тела клеток. Затем итальянский гистолог Камилло Гольджи придумал метод окраски нейронов бихроматом калия и нитратом серебра, который позволил сделать изображения более четкими.

Например, логистической компании нужно построить самые быстрые маршруты. Если в качестве исходных данных будет использована информация о маршрутах, которые строили сами водители, нет смысла подключать нейросеть. При выборе они будут опираться на другие факторы. Если использование нейросетей всё же уместно, то для решения основной задачи может использоваться не одна нейросеть, а сразу несколько. В этом случае большая задача разбивается на много мелких.

В начале XX века электрофизиологи Ричард Катон, Адольф Бек и Наполеон Цыбульский показали, что мозг в ответ на внешние стимулы проявляет электрическую активность. Это означало, что нейроны генерируют электрические импульсы (потенциалы действия). В 1930–1950 годах Алан Ходжкин и Эндрю Хаксли исследовали эти электрические импульсы на примере нервной клетки атлантического кальмара и построили первую математическую модель потенциала действия.