Как работают нейросети: от первой модели до современного чат-бота

Метод обратного распространения ошибки

В 1969 году вышла книга «Перцептроны» Марвина Минского и Сеймура Паперта, в которой устройства Розенблатта подвергались закономерной критике. Дело в том, что в перцептроне использовалась однослойная нейронная сеть, а потому он не мог выполнять логическую операцию XOR (исключающее ИЛИ). А также на данном этапе компьютеры не обладали достаточной вычислительной мощностью и не могли обработать большой объем данных, который требовался для обучения нейронных сетей.

Руководит OpenAI правление, в которое входят Грег Брокман, Илья Суцкевер, Сэм Олтман и другие внештатные члены. По слухам, в ближайшем будущем организация планирует расширить свое влияние в сфере робототехники и уже установила партнерские отношения с крупными игроками в технологической индустрии.

Например, логистической компании нужно построить самые быстрые маршруты. Если в качестве исходных данных будет использована информация о маршрутах, которые строили сами водители, нет смысла подключать нейросеть. При выборе они будут опираться на другие факторы. Если использование нейросетей всё же уместно, то для решения основной задачи может использоваться не одна нейросеть, а сразу несколько. В этом случае большая задача разбивается на много мелких.

Создание Midjourney и его уникальной возможности генерации изображений на основе текстовых подсказок представляет собой интересное развитие в области искусственного интеллекта и цифрового творчества. Инициатором этого проекта стал Дэвид Хольц – выдающийся математический гений и предприниматель-ренегат, чьи достижения в области технологии трехмерного управления движением внесли значительный вклад в цифровую индустрию. Он является техническим директором и соучредителем компании Leap Motion, базирующейся в Сан-Франциско.

И хотя в обычной жизни мы воспринимаем чат-боты и сервисы на основе ИИ скорее как развлечение, нейросети уже играют огромную роль в науке, прогнозировании, моделировании, в сфере безопасности и многих других. Без нейросетей были бы недоступны многие вычисления. Так изобретение 1940-х гг. значительно влияет на жизнь людей начала XXI века.

ChatGPT – одна из самых популярных в мире моделей ИИ, которая обучается понимать и генерировать текст в разных стилях и поддерживать диалоги с пользователями. Нейронная сеть, созданная на архитектуре GPT (Generative Pre-trained Transformer), разработана группой исследователей и инженеров компании OpenAI.

Другие создатели нейросетей

Рекуррентные нейросети нужны для языкового моделирования, создания текстов, автоматического перевода, распознавания речи и других задач. Именно они применяются в большинстве популярных чат-ботов: например, в ChatGPT и его российском аналоге SistemmaGPT. Также на базе таких сетей работают сервисы для создания текстов вроде Балабобы и генераторы изображений Midjourney, DALL-E, Dream и Kandinsky 2.1.

В составе актуальных нейросетей есть три слоя нейронов: входной, выходной и скрытый. Первый нейронов располагает только входными данными (например, вашим запросом в чат). На последующие слои уже попадает информация со всех предыдущих слоев. Затем с помощью функции активации удаляются все значения, которые выпадают из требуемого диапазона (не соответствуют вашему запросу). Наконец, на выходных нейронах появляется итоговый результат.

На этом этапе искусственный нейрон мог оперировать только с бинарными сигналами (ноль и единица), то есть мало отличался от обычного компьютера. Тогда ученые пришли к выводу, что нужно «научить» нейросети обрабатывать не только бинарные, но и аналоговые, непрерывные сигналы. Так появился новый вид обучения – градиентный спуск по поверхности ошибки. Позднее он лег в основу метода обратного распространения ошибки, который используется до сих пор.

В 1949 году физиолог Дональд Хебб высказал гипотезу, что обучение в мозге человека происходит за счет изменения силы синаптических связей между нейронами. Именно идея Хебба позволила создать самообучающиеся сети. Аналогом силы синоптических связей в них стали разные массы искусственных синапсов. Практическое воплощение концепция нейросетей получила в 1958 году, когда нейрофизиолог Фрэнк Розенблатт создал перцептрон – компьютерную программу, а также физическое устройство, которое можно считать первой нейросетью.

Активное развитие нейросетей продолжилось уже в конце XX века. В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс представили метод обратного распространения ошибки, который стал основным механизмом для глубокого обучения нейронных сетей. В результате продолжились исследования искусственного интеллекта.

Хольц получил степень доктора философии и начал свою карьеру как консультант НАСА и Института Макса Планка. Математические открытия и научные исследования молодого ученого привели к созданию Leap – одной из самых мощных в мире технологий трехмерного управления движением. На момент значимых открытий в сфере высоких технологий Дэвид Хольцу был всего 24 года.

Обработка естественного языка

Как становится понятно из статьи, нельзя назвать имя одного конкретного человека, кто придумал искусственную нейросеть. Это коллективное многолетнее достижение научного сообщества. На сегодняшний день нейронные сети активно применяются в различных сферах – автомобильной промышленности, медицине, финансовой деятельности, игровой индустрии, рекламе и маркетинге. Однако искусственный интеллект еще далек от совершенства. Поэтому можно с утверждением сказать, что история развития нейросетей еще только начинается.

Нейросети сейчас в тренде и кажутся явлением исключительно нашего времени, как смартфоны или умная техника. Но на самом деле они появились еще в 1940-е годы и прошли путь от простого перцептрона до современного ИИ, способного справиться с любой задачей. Редакция ZOOM.CNews изучила историю и принцип работы нейросетей.

Сети прямого распространенияеще называют однонаправленными. Сигнал в них передается от входного нейрона к выходному, а обратное движение в принципе невозможно. Сами по себе такие сети ограничены в функциях и потому редко используются, но на их основе создаются более сложные сверточные сети.

Существуют менее распространенные виды нейросетей: сеть радиально-базисных функций и самоорганизующиеся карты. К последним относится, например, самоорганизующаяся карта Кохонена, применяемая для моделирования, прогнозирования и в разработке компьютерных игр.

Нейросеть, еще называемая искусственной нейронной сетью или ИНС, – это математическая модель, программа или устройство, построенные по принципу биологической сети нейронов. Другими словами – по тому же принципу, по которому работает человеческий мозг. В основе каждой нейросети – огромное количество простых процессоров, представляющих собой искусственные нейроны. И, хотя по отдельности каждый процессор очень простой в сравнении с привычными компьютерами, их общая сеть с управляемым взаимодействием позволяет решать сложные задачи.

Сегодня мы бросим взгляд на историю создания нейросетей и проследим их путь к современному состоянию. Это важно не только для специалистов в области искусственного интеллекта и компьютерных наук, но и для всех интересующихся, кто придумал нейросеть и какие выдающиеся умы лежат в основе технологий, ставших частью нашей жизни.

Принцип работы перцептрона был прост: в него загружали определенный набор правил для распознавания информации, а затем показывали карточку, например, с буквой «А». Если устройство давало верный ответ, то переходили к следующей карточке, если же происходил сбой, то в правила вручную вносились коррективы, и обучение продолжалось.

Есть и более любопытные варианты использования рекуррентных сетей: например, Gnod рекомендует пользователю музыку, книги и фильмы, Deep Nostalgia анимирует фотографии и может заставить людей на изображении моргать или двигаться. А проект Imaginary Soundscape дополняет панорамные снимки Google Maps звуками улицы, морского шума и другими, чтобы по ним можно было «прогуляться» почти как в реальности.