Как работают нейросети: от первой модели до современного чат-бота

Задачи, которые помогают решить нейронные сети

Хольц получил степень доктора философии и начал свою карьеру как консультант НАСА и Института Макса Планка. Математические открытия и научные исследования молодого ученого привели к созданию Leap – одной из самых мощных в мире технологий трехмерного управления движением. На момент значимых открытий в сфере высоких технологий Дэвид Хольцу был всего 24 года.

Например, нейросеть должна распознать рукописные цифры от 0 до 9. Для этого сначала ей дают обучающие примеры, затем она переходит к самообучению. Сеть выдает предположение о том, какая цифра сейчас демонстрируется, затем анализирует этот вариант и вычисляет разницу между реальной цифрой и своей версией. Это значение используется для корректировки нейронов внутри сети до тех пор, пока распознавание не станет максимально точным.

Длинная история развития нейросетей подошла к этапу, когда они не только имитируют работу человеческого мозга. Фактически теперь они не ограничены ни в мощностях (количестве процессоров-нейронов), ни в объеме информации. Это дает им огромное преимущество перед людьми и компьютерами, в том числе суперкомпьютерами.

Например, чтобы научить нейросеть управлять беспилотным автомобилем, нужно смоделировать поведение человека-водителя, который во время движения должен распознавать дорожные знаки и разметку, реагировать на сигналы светофора, прогнозировать поведение других водителей и замечать людей, которые оказались на дороге. Для решения каждой из этих задач в беспилотном автомобиле работает отдельная нейросеть [3] .

Есть и более любопытные варианты использования рекуррентных сетей: например, Gnod рекомендует пользователю музыку, книги и фильмы, Deep Nostalgia анимирует фотографии и может заставить людей на изображении моргать или двигаться. А проект Imaginary Soundscape дополняет панорамные снимки Google Maps звуками улицы, морского шума и другими, чтобы по ним можно было «прогуляться» почти как в реальности.

ChatGPT – одна из самых популярных в мире моделей ИИ, которая обучается понимать и генерировать текст в разных стилях и поддерживать диалоги с пользователями. Нейронная сеть, созданная на архитектуре GPT (Generative Pre-trained Transformer), разработана группой исследователей и инженеров компании OpenAI.

Например, Google Lens использует для идентификации изображений сверточную сеть из 27 слоев GoogleLeNet. Похожая сеть есть в сервисе распознавания текста Yandex Vision и в видеоувеличителе Transformer-OCR, который способен определять текст на изображениях.

Принцип работы перцептрона был прост: в него загружали определенный набор правил для распознавания информации, а затем показывали карточку, например, с буквой «А». Если устройство давало верный ответ, то переходили к следующей карточке, если же происходил сбой, то в правила вручную вносились коррективы, и обучение продолжалось.

Сервисы рекомендаций

Как становится понятно из статьи, нельзя назвать имя одного конкретного человека, кто придумал искусственную нейросеть. Это коллективное многолетнее достижение научного сообщества. На сегодняшний день нейронные сети активно применяются в различных сферах – автомобильной промышленности, медицине, финансовой деятельности, игровой индустрии, рекламе и маркетинге. Однако искусственный интеллект еще далек от совершенства. Поэтому можно с утверждением сказать, что история развития нейросетей еще только начинается.

Самое любопытное в новом этапе развития нейросетей – они перестали быть явлением только научного мира и стали частью жизни современного общества. Нейросети создают произведения искусства, пишут музыку и тексты, выступают в качестве собеседника и помощника, заменяют поисковые системы и голосовых ассистентов.

Однако в 1974 году независимо друг от друга Александр Галушкин и Пол Вербос описали метод обратного распространения ошибки. Он подразумевает, что сигнал об ошибке идет не от входов, а от выходов сети. Это позволяло решить задачу обучения многослойных сетей. К тому же теперь они могли совершать операцию «исключающее ИЛИ».

Сегодня мы бросим взгляд на историю создания нейросетей и проследим их путь к современному состоянию. Это важно не только для специалистов в области искусственного интеллекта и компьютерных наук, но и для всех интересующихся, кто придумал нейросеть и какие выдающиеся умы лежат в основе технологий, ставших частью нашей жизни.

Существуют менее распространенные виды нейросетей: сеть радиально-базисных функций и самоорганизующиеся карты. К последним относится, например, самоорганизующаяся карта Кохонена, применяемая для моделирования, прогнозирования и в разработке компьютерных игр.

Кроме того, проект отличается собственным стилем и созданием более качественных изображений высокого уровня детализации, реализма и креативности с использованием текстовых подсказок. Проект стал возможным благодаря обучению модели искусственного интеллекта на огромных объемах данных и изображений.

При этом для всех процессов большее значение имеют даже не сами нейроны, а синапсы, то есть связь между ними. Каждый из синапсов имеет свой вес, выставленный в случайном порядке, и во время обработки данные, переданные синапсом с большим весом, становятся преобладающими.

Midjourney – это своего рода социальная сеть, где пользователи могут создавать и делиться уникальными произведениями искусства, сгенерированными по запросу нейросетью. Основное отличие Midjourney от похожих проектов DALL-E 2 от OpenAI заключается в том, что к боту можно получить доступ через интернет-протокол передачи голоса, социальную платформу мгновенных сообщений Discord, а не через сайт или мобильное приложение.

Как появилась концепция нейросетей

Нейросети сейчас в тренде и кажутся явлением исключительно нашего времени, как смартфоны или умная техника. Но на самом деле они появились еще в 1940-е годы и прошли путь от простого перцептрона до современного ИИ, способного справиться с любой задачей. Редакция ZOOM.CNews изучила историю и принцип работы нейросетей.

В 1980-х годах, когда появились более мощные компьютеры для вычислений, исследователи смогли разработать нейросети с двумя и тремя уровнями обучения. Однако возрождение интереса к нейронным сетям и революция в глубоком обучении произошли лишь в последние годы благодаря индустрии компьютерных игр. Современные игры требуют сложных вычислений для обработки большого числа операций. В итоге производители начали выпускать графические процессоры (GPU), которые объединяют тысячи относительно простых вычислительных ядер на одном чипе. Исследователи вскоре поняли, что архитектура графического процессора очень похожа на архитектуру нейросети.

С появлением больших объемов данных, мощных вычислительных ресурсов и улучшенных алгоритмов, нейронные сети особенно быстро стали развиваться в последнее десятилетие. Из ученых, кто придумывает нейросеть в 2023 году, можно выделить следующие имена: Джеффри Хинтон, Андрю Янг, Джейф Дин, Илья Суцкевер. Ученые активно занимаются исследованием искусственных нейронных сетей и вносят весомый вклад в развитие высоких технологий будущего.

Руководит OpenAI правление, в которое входят Грег Брокман, Илья Суцкевер, Сэм Олтман и другие внештатные члены. По слухам, в ближайшем будущем организация планирует расширить свое влияние в сфере робототехники и уже установила партнерские отношения с крупными игроками в технологической индустрии.

Нейронные сети могут использоваться для решения задач из любых отраслей, но есть тонкости. Нейросети хорошо справятся только в тех случаях, когда задача уже была решена другими способами и есть накопленный объём релевантных данных. Новая задача — это область знания, к которой нейросеть вряд ли сможет подступиться. Если помимо данных важен ещё и контекст, лучше решить задачу без помощи нейросетей.

Следующим важным этапом стало создание перцептрона Фрэнком Розенблаттом в 1957 году. Это была первая искусственная нейросеть, способная обучаться. Она стала предшественником многих современных алгоритмов машинного обучения. Однако в те времена не хватало мощности компьютеров, чтобы проводить полноценные исследования, и проект по разработке ИИ был отложен на несколько десятилетий.