Нейросети: может ли компьютер работать как мозг

Требовательный интеллект

Таким образом, важнейшее свойство мозга, которое может повысить энергоэффективность нейросетей, — это импульсный характер передачи информации, то есть передача сигналов в виде последовательности импульсов во времени. При этом каждый импульс не имеет никаких других свойств, кроме времени отправки. Благодаря этому работа нейрона в такой системе сводится к простым реакциям на приход спайков, и реализовать их обработку можно в виде очень простой цифровой или аналоговой схемы.

Моделируя работу человеческого сознания (подробнее об этом в статье про искусственный интеллект), компьютерщики решили попробовать повторить эволюционные изобретения природы. Так появились технологии нейронных сетей. Их архитектура повторяет принцип действия сетей нервных клеток биологического организма.

Нейросеть представляет собой большое количество простых процессоров, соединённых между собой сложной системой связей. Каждый процессор (по сути, искусственный нейрон) способен принимать простые сигналы, обрабатывать их по простому правилу и передавать результат дальше. Мощь системы — именно в топологии связей, в том, как усложняется эта «паутина» по мере обучения системы и решения задач. Полная аналогия с мозгом — здесь обучение тоже базируется не на числе нейронов, но на росте связей между ними.

Для того чтобы реализовать эту особенность человеческого мозга — возможность вычисления в памяти, — используют либо аналоговые, либо гибридные цифровые системы. В гибридных системах много нейронов одновременно вычисляется на одном из многих параллельных процессоров, каждый из которых обладает собственной памятью. В аналоговых системах каждый нейрон обрабатывается собственной электрической схемой. Такие схемы часто используют особые электрические элементы — мемристоры, которые способны изменять свое сопротивление в зависимости от протекающего через них электрического заряда и тем самым выполнять функцию встроенной в вычислительную схему памяти. Вычисления в памяти избавляют систему от конкуренции за доступ к памяти и позволяют не тратить большое количество ресурсов на частый перенос промежуточных данных между памятью и процессором.

Например, мозг умеет одновременно обрабатывать и объединять в единую картину информацию разных типов, получаемую от разных органов чувств. Ему не нужны огромные количества данных, чтобы чему-то научиться: ребенок по одной картинке запоминает, что такое кошка, а системам ИИ нужны десятки и сотни тысяч изображений. Есть гипотеза, что мозгу это удается через формирование идей и абстрактных понятий, но как воплотить такую систему в ИИ — пока никто не знает. Кроме того, в процессе обучения наш мозг не только изменяет силу связей между нейронами, но и в принципе способен трансформировать топологию сети: обрывать одни связи между нейронами и проращивать новые — в науке этот процесс называют взрослением. Искусственные нейроны такого пока не умеют.

В прикладных коммерческих задачах мало понять, что сказал человек, — нужно ещё понять, что он при этом хотел. То есть, выявить в его речи (письменной или устной) намерения. Распознавание намерений — следующая технология, которая лежит в основе Твин-ботов. Именно она позволяет составлять гибкие сценарии диалогов и вести ботам полноценные беседы при звонках на горячую линию в колл-центр или обращениях в службу поддержки.

На этапе обучения нейросеть тренируется выявлять сложные зависимости между входными данными и выходными, а также обобщать их в случае неполноты. Поэтому, пройдя обучение на задачах определённой темы, далее нейросеть способна быстро и эффективно решать задачи в той же теме, которых она раньше не встречала. При этом всё лучше и лучше справляясь с данными, которые неполны или «зашумлены», т.е. содержат искажения и ошибки.

Есть и третий класс задач — прогнозирование. Это когда нейронной сети на вход подаётся информация о какой-то последовательности обусловленных событий, и на основании их нейросеть предсказывает, какие события имеют большую вероятность случиться дальше. По мере обучения и тренировки такие прогнозы становятся всё точнее.

Счет в уме

Еще одной особенностью классических нейросетей, которая отличает их от мозга, является метод их обучения. Оно работает через обратное распространение коррекций силы связей между нейронами по всей сети после вычисления того, как и насколько сильно сеть ошиблась. Использование этого метода в мозге предполагало бы наличие не только единого центра, следящего за этими исправлениями, но и второго канала связи между нейронами, по которому сигнал мог бы проходить в обратную сторону для коррекции весов связей.

Пример из жизни: 99% читателей этой статьи хоть раз да сталкивались с Гугл-капчей. Забавно, но убеждать «Я не робот» вам приходится именно робота. Обратите внимание: раньше капча показывала картинки предметов, цифры, буквы, а теперь всё чаще — картинки с дефектами, искажениями, низкой разборчивости. Все мы, проходя капчу, участвуем в обучении нейросети (которая за ней кроется) распознавать изображения.

Импульсы — это тот тип информации, с которым работают живые мозги, а значит, импульсным нейроморфным системам будет не просто легче работать с данными в импульсном виде — возможно, они смогут подключаться к мозгу через нейроинтерфейсы и работать с его сигналами напрямую.

По мере развития классических нейросетей программное описание нейронов абстрагировалось, их функции активации изменялись, увеличивалось количество слоев и менялись подходы к настройке связей между ними. Однако фундаментальная идея оставалась той же, поэтому нейросети, состоящие из связанных друг с другом математических функций, очень отдаленно напоминали человеческий мозг. Но и не будучи в большой степени нейроморфными, благодаря появлению мощных видеокарт, которые оказались способны быстро производить необходимые для работы нейросетей вычисления, они выросли в современные системы ИИ, которые умеют многое: распознавать и рисовать картинки, писать и переводить тексты, обыгрывать людей в сложные игры.

В биологии такого нет: нейроны проводят сигнал только в одну сторону и не имеют единого центра исправления ошибок. Реализовать такое обучение в нейроморфных нейросетях можно через локальное обучение. Наиболее популярный подход к такому обучению называется STDP (spike timing dependent plasticity). Его идея состоит в том, что синапсы, на которые сигналы пришли незадолго до генерации импульса нейроном, усиливаются, а синапсы, получившие импульс вскоре после этого, ослабляются. При таком подходе коррекция весов сети происходит за один проход сигнала по сети. В перспективе это позволит дешевле и эффективнее обучать большие модели.

Человеческий мозг — самая сложная и эффективная вычислительная система, а воссоздание человеческого интеллекта было одной из величайших целей человечества во все времена. Сегодня инженеры Росатома вместе с учеными работают над созданием нейроморфных (то есть заимствующих подходы из биологии) систем искусственного интеллекта. Но разве нейросети уже не нейроморфные сами по себе? Оказывается, что нет. Вместе с научно-просветительской платформой Homo Science рассказываем, какие секреты биологического мозга ученые могут использовать для создания более быстрых, умных и обучаемых нейросетей.

Несмотря на то что мы все еще многого не понимаем, нейрофизиология сегодня является ценнейшим источником информации для разработчиков систем ИИ, так же как она была для них вдохновением больше полувека назад. Внедрение свойств мозга в искусственные системы уже не раз давало толчок развитию систем ИИ и сделает это еще не раз, потому что сложность и эффективность устройства человеческого мозга все еще намного превосходят наши нейроморфные системы. Нам предстоит еще много циклов внедрения в наши интеллектуальные системы все более тонких и сложных идей, которые природа разработала в процессе эволюционного развития мозга.

Классические нейросети работают очень похоже на обычные компьютеры. Каждый нейрон можно описать всего несколькими числами, задающими наличие и важность входящих сигналов. На следующем шаге вычислений на основе этих чисел функция активации определяет для каждого нейрона, считается ли его исходящий сигнал включенным или нет. И в результате каждый нейрон классической нейросети обсчитывается на каждом вычислительном шаге компьютера.