История развития нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

Текст научной работы на тему «История развития нейронных сетей»

1974 г. — П. Вербосом разработан алгоритм обратного распространения ошибки для обучения многослойных перцептронов, переоткрытый заново в 1982 г. Д. Паркером и в 1986 году Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа) [8]. Этот систематический метод для обучения многослойных сетей преодолевает ограничения, указанные Минским.

Искусственная нейронная сеть — не модель человеческого мозга: даже самые мощные из существующих сетей не могут достигнуть таких мощностей и подобного количества нейронов. В человеческом мозгу огромное количество нервных клеток — десятки миллиардов. В искусственных нейросетях намного меньше нейронов. Для создания нейронной сети, по возможностям равной человеческому мозгу, сейчас нет мощностей.

Кроме логики и теории вычислений, третий по величине вклад математиков в искусственный интеллект состоял в разработке теории вероятностей. Идея вероятности была впервые сформулирована итальянским математиком Джероламо Кардано (1501 -1576), который описал ее в терминах результатов событий с несколькими исходами, возникающих в азартных играх.

Синапсы. Синапс — это связь между нейронами. У каждого синапса есть веса — числовые коэффициенты, от которых как раз и зависит поведение нейронной сети. В самом начале, при инициализации сети, эти коэффициенты расставляются случайным образом. Но в ходе обучения они меняются и подстраиваются так, чтобы сеть эффективнее решала задачу.

Философия сформулировала наиболее важные положения, управляющие рациональной частью мышления, но для их формализации необходимы были фундаментальные исследования в другой науке — математике. На протяжении нескольких столетий эти исследования проводились параллельно, взаимно обогащая обе науки. Для искусственного интеллекта наибольшее влияние оказало развитие таких разделов математики как логика, вычисления и вероятность.

В современном обществе многие проблемы сводятся к проблемам управления слабоструктурированными, а часто и неструктурированными сложными системами. Поэтому оценить перспективы развития нейронных сетей можно, лишь определив их место в решении данной проблемы [9,10,16].

Перцептроны — Это классические нейронные сети, изначально однослойные, позже многослойные. Сейчас используются в основном для вычислений. Сверточные нейронные сети — Это многослойные сети, которые состоят из чередующихся сверточных и субдискретизирующих слоев и предназначены специально для работы с изображениями. Рекуррентные нейронные сети Их особенность в возможности последовательно обрабатывать цепочки данных и «запоминать» предыдущую информацию. Поэтому их применяют для работы с изменяющимися сведениями или длинными цепочками данных, например рукописными текстами. Генеративные нейронные сети Предназначены для создания контента. Иногда используются генеративно-состязательные нейросети — связка из двух сетей, где одна создает контент, а другая оценивает его качество.

В последние годы с развитием нейронных сетей их стали использовать в том числе в SMM. Уже сейчас есть блоги, где изображения и другой контент частично генерируются нейросетями. Применяют их и в развлекательных целях: различные сервисы «перерисовывают» лица людей, делают из них картины, персонажей мультфильмов, вставляют лица в отрывки из кино. Все это возможно благодаря машинному обучению и нейросетям.

Какими бывают нейросети

Но по какой логике пересчитываются веса, понять можно. В ходе обучения нейросеть анализирует данные, а потом ей дают правильный ответ. Этот ответ для нее — числовое значение. Поэтому она подгоняет веса так, чтобы в своей работе сеть приближалась к эталонному значению. Мы подробнее расскажем об этом процессе ниже, когда поговорим про обучение.

Нейросеть повторяет этот же принцип, но программно. Нейроны — это программные объекты, внутри которых хранится какая-то формула. Они соединены синапсами — связями, у которых есть веса: некоторые числовые значения. Веса отражают накопленную нейросетью информацию, но сами по себе, в отрыве от сети, не несут информационной ценности.

Если предположить, что знаниями манипулирует физический разум, то возникает следующая проблема — установить источник знаний. Такое научное направление, как эмпиризм, родоначальником которого был Фрэнсис Бекон (1561-1626), автор Нового Органона, можно охарактеризовать высказыванием Джона Локка (1632 — 1704): «В человеческом понимании нет ничего, что не проявлялось бы прежде всего в ощущениях».

Это опять же свойство, взятое из человеческого мозга. Нейронные связи в нашей нервной системе укрепляются, когда мы что-то выучиваем, — в итоге мы помним и делаем это лучше. Так появляются знания и навыки. У искусственных нейронных сетей так же: просто вместо физического изменения нервной ткани здесь происходит изменение числовых значений.

2007 г. — Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Успех обусловлен тем, что Хинтон при обучении нижних слоев сети использовал ограниченную машину Больцмана (RBM -Restricted Boltzmann Machine).

17. Su-Li Yan, Ying Wang, Ji-Cheng Liu.Research on the Comprehensive Evaluation of BusinessIntelligence System Based on BP Neural Network. 2nd International Conference on Complexity Science & Information Engineering.North China Electric Power University, Beijing 102206, China, 2011, р. 2211-3819.

Для эффективного обучения нужно много повторений. Иначе нейронная сеть будет работать неточно — ведь входные данные могут серьезно различаться, а она окажется натренирована только на один возможный вариант. Поэтому обучение проводится в несколько итераций и эпох.

(1872 — 1970), знаменитый Венский кружок, возглавляемый Рудольфом Карнапом (18911970), разработал доктрину логического позитивизма. Согласно этой доктрине, все знания могут быть охарактеризованы с помощью логических теорий, связанных в конечном итоге с констатирующими предложениями, которые соответствуют входным сенсорным данным [2].