Взаймы у природы

По образу и подобию

Правда, каждый нейрон перцептрона был не сложной и развивающейся во времени живой клеткой, а математической функцией, которая выводила сигнал в зависимости от результата суммирования входных сигналов. Перцептрон состоял всего из трех слоев, между которыми все нейроны были связаны друг с другом, в отличие от структуры нейронных связей живого мозга, которая настолько сложна, что ученые до сих пор способны описывать только маленькие ее кусочки.

В 1937 году Джон Захари Янг описал механизм передачи электрохимических сигналов нейронами на примере гигантского аксона кальмара. После войны идеями строения мозга вдохновлялся отец современных вычислительных систем физик и математик Джон фон Нейман, а нейрофизиолог Фрэнк Розенблатт создал первую искусственную нейросеть — перцептрон, который состоял из связанных друг с другом нейронов.

У мозга есть и другие преимущества перед нейросетями с классической архитектурой. В то время как GPT-3 требует десятки терабайт текста, чтобы научиться их писать, человеку достаточно несколько учебников и рабочих тетрадей для начальной школы. Да и в принципе учиться люди умеют намного лучше: если классическую нейросеть обучить сначала одной задаче, а потом другой, то после окончания второго раунда «обучения» она полностью забудет все, чему научилась на первом, — таковы особенности классических методов обучения нейросетей. Люди же довольно неплохо умеют сохранять знания между разными задачами, и только устройство самого мозга может подсказать нам, как этого добиться.

В отличие от людей, нейросети не умеют лениться, также их не нужно мотивировать званием отличника, карьерными перспективами или большой зарплатой. Искусственный интеллект готов учиться круглосуточно. Также есть возможности наделить нейронку любопытством — позволить ей выходить за пределы шаблонов при решении задач.

Человеческий мозг — самая сложная и эффективная вычислительная система, а воссоздание человеческого интеллекта было одной из величайших целей человечества во все времена. Сегодня инженеры Росатома вместе с учеными работают над созданием нейроморфных (то есть заимствующих подходы из биологии) систем искусственного интеллекта. Но разве нейросети уже не нейроморфные сами по себе? Оказывается, что нет. Вместе с научно-просветительской платформой Homo Science рассказываем, какие секреты биологического мозга ученые могут использовать для создания более быстрых, умных и обучаемых нейросетей.

Импульсный формат позволяет более эффективно обращать внимание на то, как информация изменяется со временем, и быстрее принимать решения. Нейроморфный ИИ, как и наш мозг, не будет ждать «всей информации», прежде чем принять решение, — он будет действовать с учетом имеющихся данных и корректировать поведение при появлении новых.

Требовательный интеллект

Таким образом, важнейшее свойство мозга, которое может повысить энергоэффективность нейросетей, — это импульсный характер передачи информации, то есть передача сигналов в виде последовательности импульсов во времени. При этом каждый импульс не имеет никаких других свойств, кроме времени отправки. Благодаря этому работа нейрона в такой системе сводится к простым реакциям на приход спайков, и реализовать их обработку можно в виде очень простой цифровой или аналоговой схемы.

Энергопотребление Tesla V100 — 250 ватт, 18,5 тысяч таких видеокарт за неделю потратят 777 МВт*ч электроэнергии, а это мощность порядка средней ТЭЦ (например, мощность Московской ТЭЦ-16 — 651 МВт). Если конвертировать такую энергию в выбросы CO₂, получится 273 тонны (с коэффициентом по России), 5000 автомобилей за неделю выбрасывают меньше. Но даже если закрыть глаза на огромную стоимость и вред, приносящийся экологии, такие затраты просто расточительны. Человеческий мозг способен на одновременное выполнение многих задач, на каждую из которых потребуется по большой нейросети, а также на многое, чего нейросети пока вообще не могут: от способности одинаково хорошо справляться с различными категориями задач до формирования сознания. При этом мозг потребляет около 20 ватт энергии. Обычно это в тысячу раз меньше, чем нужно для одной видеокарты, не говоря уже о целом дата-центре.

— Искусственный интеллект бывает разный. Есть так называемый классический, созданный по технологиям, которые придумали в прошлом веке. Есть современные глубокие нейросети, созданные по образу и подобию человеческого мозга. По мере усложнения, увеличения числа нейронов и связей между ними идет эволюция нейросетей. И если раньше мы знали, как они «думают», то чем дальше, тем меньше способны понять их «мыслительный процесс», — рассказывает руководитель центра разработок технологий искусственного интеллекта «Газпром нефти» Алексей Шпильман.

В биологии такого нет: нейроны проводят сигнал только в одну сторону и не имеют единого центра исправления ошибок. Реализовать такое обучение в нейроморфных нейросетях можно через локальное обучение. Наиболее популярный подход к такому обучению называется STDP (spike timing dependent plasticity). Его идея состоит в том, что синапсы, на которые сигналы пришли незадолго до генерации импульса нейроном, усиливаются, а синапсы, получившие импульс вскоре после этого, ослабляются. При таком подходе коррекция весов сети происходит за один проход сигнала по сети. В перспективе это позволит дешевле и эффективнее обучать большие модели.

По мере развития классических нейросетей программное описание нейронов абстрагировалось, их функции активации изменялись, увеличивалось количество слоев и менялись подходы к настройке связей между ними. Однако фундаментальная идея оставалась той же, поэтому нейросети, состоящие из связанных друг с другом математических функций, очень отдаленно напоминали человеческий мозг. Но и не будучи в большой степени нейроморфными, благодаря появлению мощных видеокарт, которые оказались способны быстро производить необходимые для работы нейросетей вычисления, они выросли в современные системы ИИ, которые умеют многое: распознавать и рисовать картинки, писать и переводить тексты, обыгрывать людей в сложные игры.

Для того чтобы реализовать эту особенность человеческого мозга — возможность вычисления в памяти, — используют либо аналоговые, либо гибридные цифровые системы. В гибридных системах много нейронов одновременно вычисляется на одном из многих параллельных процессоров, каждый из которых обладает собственной памятью. В аналоговых системах каждый нейрон обрабатывается собственной электрической схемой. Такие схемы часто используют особые электрические элементы — мемристоры, которые способны изменять свое сопротивление в зависимости от протекающего через них электрического заряда и тем самым выполнять функцию встроенной в вычислительную схему памяти. Вычисления в памяти избавляют систему от конкуренции за доступ к памяти и позволяют не тратить большое количество ресурсов на частый перенос промежуточных данных между памятью и процессором.