Как работают нейросети: от первой модели до современного чат-бота

Как появилась концепция нейросетей

Нейросеть, еще называемая искусственной нейронной сетью или ИНС, – это математическая модель, программа или устройство, построенные по принципу биологической сети нейронов. Другими словами – по тому же принципу, по которому работает человеческий мозг. В основе каждой нейросети – огромное количество простых процессоров, представляющих собой искусственные нейроны. И, хотя по отдельности каждый процессор очень простой в сравнении с привычными компьютерами, их общая сеть с управляемым взаимодействием позволяет решать сложные задачи.

Сверточные нейронные сети —вариант однонаправленных сетей, но в них заложено пять слоев: входной, свертывающий, объединяющий, подключенный и выходной. Такие сети частично имитируют зрительную кору головного мозга и используется для классификации объектов, распознавания изображений и естественного языка, а также для прогнозирования.

ChatGPT – одна из самых популярных в мире моделей ИИ, которая обучается понимать и генерировать текст в разных стилях и поддерживать диалоги с пользователями. Нейронная сеть, созданная на архитектуре GPT (Generative Pre-trained Transformer), разработана группой исследователей и инженеров компании OpenAI.

Принцип работы перцептрона был прост: в него загружали определенный набор правил для распознавания информации, а затем показывали карточку, например, с буквой «А». Если устройство давало верный ответ, то переходили к следующей карточке, если же происходил сбой, то в правила вручную вносились коррективы, и обучение продолжалось.

Но уже в 1982 году в так называемой сети Хопфилда удалось реализовать двустороннюю передачу информации между нейронами. Так появились нелинейные функции активации, которые обеспечивают сложные взаимосвязи между входными и выходными нейронами. На этом этапе все было готово для глубокого или глубинного обучения, также известного как. Но прошло еще более 10 лет, прежде чем концепция получила полноценное воплощение.

Активное развитие нейросетей продолжилось уже в конце XX века. В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс представили метод обратного распространения ошибки, который стал основным механизмом для глубокого обучения нейронных сетей. В результате продолжились исследования искусственного интеллекта.

Кто придумал Midjourney

Рекуррентные нейросети нужны для языкового моделирования, создания текстов, автоматического перевода, распознавания речи и других задач. Именно они применяются в большинстве популярных чат-ботов: например, в ChatGPT и его российском аналоге SistemmaGPT. Также на базе таких сетей работают сервисы для создания текстов вроде Балабобы и генераторы изображений Midjourney, DALL-E, Dream и Kandinsky 2.1.

В 1949 году физиолог Дональд Хебб высказал гипотезу, что обучение в мозге человека происходит за счет изменения силы синаптических связей между нейронами. Именно идея Хебба позволила создать самообучающиеся сети. Аналогом силы синоптических связей в них стали разные массы искусственных синапсов. Практическое воплощение концепция нейросетей получила в 1958 году, когда нейрофизиолог Фрэнк Розенблатт создал перцептрон – компьютерную программу, а также физическое устройство, которое можно считать первой нейросетью.

Следующим важным этапом стало создание перцептрона Фрэнком Розенблаттом в 1957 году. Это была первая искусственная нейросеть, способная обучаться. Она стала предшественником многих современных алгоритмов машинного обучения. Однако в те времена не хватало мощности компьютеров, чтобы проводить полноценные исследования, и проект по разработке ИИ был отложен на несколько десятилетий.

Длинная история развития нейросетей подошла к этапу, когда они не только имитируют работу человеческого мозга. Фактически теперь они не ограничены ни в мощностях (количестве процессоров-нейронов), ни в объеме информации. Это дает им огромное преимущество перед людьми и компьютерами, в том числе суперкомпьютерами.

Есть и более любопытные варианты использования рекуррентных сетей: например, Gnod рекомендует пользователю музыку, книги и фильмы, Deep Nostalgia анимирует фотографии и может заставить людей на изображении моргать или двигаться. А проект Imaginary Soundscape дополняет панорамные снимки Google Maps звуками улицы, морского шума и другими, чтобы по ним можно было «прогуляться» почти как в реальности.

Однако искусственный интеллект был придуман задолго до сегодняшних технологий. Первыми, кто придумал нейросеть, были американский математик Уоррен Маккаллок и нейрофизиолог Уолтер Питтс. В 1943 году эти ученые создали первую модель биологического нейрона, что стало отправной точкой для развития нейронных сетей в будущем.

Сфера применения

Руководит OpenAI правление, в которое входят Грег Брокман, Илья Суцкевер, Сэм Олтман и другие внештатные члены. По слухам, в ближайшем будущем организация планирует расширить свое влияние в сфере робототехники и уже установила партнерские отношения с крупными игроками в технологической индустрии.

Однако в 1974 году независимо друг от друга Александр Галушкин и Пол Вербос описали метод обратного распространения ошибки. Он подразумевает, что сигнал об ошибке идет не от входов, а от выходов сети. Это позволяло решить задачу обучения многослойных сетей. К тому же теперь они могли совершать операцию «исключающее ИЛИ».

Существуют менее распространенные виды нейросетей: сеть радиально-базисных функций и самоорганизующиеся карты. К последним относится, например, самоорганизующаяся карта Кохонена, применяемая для моделирования, прогнозирования и в разработке компьютерных игр.

В 1969 году вышла книга «Перцептроны» Марвина Минского и Сеймура Паперта, в которой устройства Розенблатта подвергались закономерной критике. Дело в том, что в перцептроне использовалась однослойная нейронная сеть, а потому он не мог выполнять логическую операцию XOR (исключающее ИЛИ). А также на данном этапе компьютеры не обладали достаточной вычислительной мощностью и не могли обработать большой объем данных, который требовался для обучения нейронных сетей.

Рекуррентные сети имеют обратную связь. То есть информация с выходного слоя может возвращаться обратно на входной. Причем это может происходить неоднократно – и каждый раз данные будут пополняться за счет предыдущих выходов. Потому рекуррентные нейросети могут ненадолго запоминать и дополнять информацию, то есть обладают кратковременной памятью.

Нейронные сети могут использоваться для решения задач из любых отраслей, но есть тонкости. Нейросети хорошо справятся только в тех случаях, когда задача уже была решена другими способами и есть накопленный объём релевантных данных. Новая задача — это область знания, к которой нейросеть вряд ли сможет подступиться. Если помимо данных важен ещё и контекст, лучше решить задачу без помощи нейросетей.

Сети прямого распространенияеще называют однонаправленными. Сигнал в них передается от входного нейрона к выходному, а обратное движение в принципе невозможно. Сами по себе такие сети ограничены в функциях и потому редко используются, но на их основе создаются более сложные сверточные сети.

Например, нейросеть должна распознать рукописные цифры от 0 до 9. Для этого сначала ей дают обучающие примеры, затем она переходит к самообучению. Сеть выдает предположение о том, какая цифра сейчас демонстрируется, затем анализирует этот вариант и вычисляет разницу между реальной цифрой и своей версией. Это значение используется для корректировки нейронов внутри сети до тех пор, пока распознавание не станет максимально точным.