Как работают нейросети: от первой модели до современного чат-бота

Метод обратного распространения ошибки

Однако в 1974 году независимо друг от друга Александр Галушкин и Пол Вербос описали метод обратного распространения ошибки. Он подразумевает, что сигнал об ошибке идет не от входов, а от выходов сети. Это позволяло решить задачу обучения многослойных сетей. К тому же теперь они могли совершать операцию «исключающее ИЛИ».

Кроме того, проект отличается собственным стилем и созданием более качественных изображений высокого уровня детализации, реализма и креативности с использованием текстовых подсказок. Проект стал возможным благодаря обучению модели искусственного интеллекта на огромных объемах данных и изображений.

Как становится понятно из статьи, нельзя назвать имя одного конкретного человека, кто придумал искусственную нейросеть. Это коллективное многолетнее достижение научного сообщества. На сегодняшний день нейронные сети активно применяются в различных сферах – автомобильной промышленности, медицине, финансовой деятельности, игровой индустрии, рекламе и маркетинге. Однако искусственный интеллект еще далек от совершенства. Поэтому можно с утверждением сказать, что история развития нейросетей еще только начинается.

Сверточные нейронные сети —вариант однонаправленных сетей, но в них заложено пять слоев: входной, свертывающий, объединяющий, подключенный и выходной. Такие сети частично имитируют зрительную кору головного мозга и используется для классификации объектов, распознавания изображений и естественного языка, а также для прогнозирования.

При этом для всех процессов большее значение имеют даже не сами нейроны, а синапсы, то есть связь между ними. Каждый из синапсов имеет свой вес, выставленный в случайном порядке, и во время обработки данные, переданные синапсом с большим весом, становятся преобладающими.

Рекуррентные сети имеют обратную связь. То есть информация с выходного слоя может возвращаться обратно на входной. Причем это может происходить неоднократно – и каждый раз данные будут пополняться за счет предыдущих выходов. Потому рекуррентные нейросети могут ненадолго запоминать и дополнять информацию, то есть обладают кратковременной памятью.

Итоги

Длинная история развития нейросетей подошла к этапу, когда они не только имитируют работу человеческого мозга. Фактически теперь они не ограничены ни в мощностях (количестве процессоров-нейронов), ни в объеме информации. Это дает им огромное преимущество перед людьми и компьютерами, в том числе суперкомпьютерами.

Рекуррентные нейросети нужны для языкового моделирования, создания текстов, автоматического перевода, распознавания речи и других задач. Именно они применяются в большинстве популярных чат-ботов: например, в ChatGPT и его российском аналоге SistemmaGPT. Также на базе таких сетей работают сервисы для создания текстов вроде Балабобы и генераторы изображений Midjourney, DALL-E, Dream и Kandinsky 2.1.

В 1949 году физиолог Дональд Хебб высказал гипотезу, что обучение в мозге человека происходит за счет изменения силы синаптических связей между нейронами. Именно идея Хебба позволила создать самообучающиеся сети. Аналогом силы синоптических связей в них стали разные массы искусственных синапсов. Практическое воплощение концепция нейросетей получила в 1958 году, когда нейрофизиолог Фрэнк Розенблатт создал перцептрон – компьютерную программу, а также физическое устройство, которое можно считать первой нейросетью.

Следующим важным этапом стало создание перцептрона Фрэнком Розенблаттом в 1957 году. Это была первая искусственная нейросеть, способная обучаться. Она стала предшественником многих современных алгоритмов машинного обучения. Однако в те времена не хватало мощности компьютеров, чтобы проводить полноценные исследования, и проект по разработке ИИ был отложен на несколько десятилетий.

В последние годы мы все чаще слышим о нейросетях, которые в ближайшем будущем должны заменить многие профессии. И нам кажется, что идея создания искусственного интеллекта появилась совсем недавно. Однако нейронные сети от первых разработок прошли долгий путь длиной более полувека, и все еще находятся на начальной стадии развития. Нейросеть способна мгновенно обработать большое количество информации и работает по принципу человеческого мозга, но не может решать множество простых задач, с которыми человек сталкивается каждый день – распознавание эмоций, сарказм, понимание иносказаний.

Сети прямого распространенияеще называют однонаправленными. Сигнал в них передается от входного нейрона к выходному, а обратное движение в принципе невозможно. Сами по себе такие сети ограничены в функциях и потому редко используются, но на их основе создаются более сложные сверточные сети.

Сегодня мы бросим взгляд на историю создания нейросетей и проследим их путь к современному состоянию. Это важно не только для специалистов в области искусственного интеллекта и компьютерных наук, но и для всех интересующихся, кто придумал нейросеть и какие выдающиеся умы лежат в основе технологий, ставших частью нашей жизни.

Например, логистической компании нужно построить самые быстрые маршруты. Если в качестве исходных данных будет использована информация о маршрутах, которые строили сами водители, нет смысла подключать нейросеть. При выборе они будут опираться на другие факторы. Если использование нейросетей всё же уместно, то для решения основной задачи может использоваться не одна нейросеть, а сразу несколько. В этом случае большая задача разбивается на много мелких.

Машинное зрение

Хольц получил степень доктора философии и начал свою карьеру как консультант НАСА и Института Макса Планка. Математические открытия и научные исследования молодого ученого привели к созданию Leap – одной из самых мощных в мире технологий трехмерного управления движением. На момент значимых открытий в сфере высоких технологий Дэвид Хольцу был всего 24 года.

Существуют менее распространенные виды нейросетей: сеть радиально-базисных функций и самоорганизующиеся карты. К последним относится, например, самоорганизующаяся карта Кохонена, применяемая для моделирования, прогнозирования и в разработке компьютерных игр.

Однако искусственный интеллект был придуман задолго до сегодняшних технологий. Первыми, кто придумал нейросеть, были американский математик Уоррен Маккаллок и нейрофизиолог Уолтер Питтс. В 1943 году эти ученые создали первую модель биологического нейрона, что стало отправной точкой для развития нейронных сетей в будущем.

Самое любопытное в новом этапе развития нейросетей – они перестали быть явлением только научного мира и стали частью жизни современного общества. Нейросети создают произведения искусства, пишут музыку и тексты, выступают в качестве собеседника и помощника, заменяют поисковые системы и голосовых ассистентов.

И хотя в обычной жизни мы воспринимаем чат-боты и сервисы на основе ИИ скорее как развлечение, нейросети уже играют огромную роль в науке, прогнозировании, моделировании, в сфере безопасности и многих других. Без нейросетей были бы недоступны многие вычисления. Так изобретение 1940-х гг. значительно влияет на жизнь людей начала XXI века.

Например, Google Lens использует для идентификации изображений сверточную сеть из 27 слоев GoogleLeNet. Похожая сеть есть в сервисе распознавания текста Yandex Vision и в видеоувеличителе Transformer-OCR, который способен определять текст на изображениях.

В составе актуальных нейросетей есть три слоя нейронов: входной, выходной и скрытый. Первый нейронов располагает только входными данными (например, вашим запросом в чат). На последующие слои уже попадает информация со всех предыдущих слоев. Затем с помощью функции активации удаляются все значения, которые выпадают из требуемого диапазона (не соответствуют вашему запросу). Наконец, на выходных нейронах появляется итоговый результат.

Есть и более любопытные варианты использования рекуррентных сетей: например, Gnod рекомендует пользователю музыку, книги и фильмы, Deep Nostalgia анимирует фотографии и может заставить людей на изображении моргать или двигаться. А проект Imaginary Soundscape дополняет панорамные снимки Google Maps звуками улицы, морского шума и другими, чтобы по ним можно было «прогуляться» почти как в реальности.