Очень краткая история нейросетей: от разработок 20-го века до ChatGPT

Что такое персептрон

Одной из самых прорывных историй является создание модели GPT-3 (Generative Pretrained Transformer 3) — языковой модели, разработанной OpenAI (они и создали ChatGPT). Модель была представлена в 2020 году и хорошо нашумела. Её натренировали на огромном количестве текстовых данных и научили выполнять разные языковые задачи.

Midjourney – это своего рода социальная сеть, где пользователи могут создавать и делиться уникальными произведениями искусства, сгенерированными по запросу нейросетью. Основное отличие Midjourney от похожих проектов DALL-E 2 от OpenAI заключается в том, что к боту можно получить доступ через интернет-протокол передачи голоса, социальную платформу мгновенных сообщений Discord, а не через сайт или мобильное приложение.

Джеффри Хинтон, которого называют «Крестным отцом ИИ», рассказал The New York Times, что люди уже начали сталкиваться с негативными последствиями деятельности нейросетей. Это, например, потеря рабочих мест, когда работодатели поручают ИИ часть обязанностей увольняемых рабочих. Например, в Баварии на заводе BMW нейросети и роботы уже контролируют качество покраски кузовов автомобилей, а немногочисленные проверяющие люди лишь подстраховывают их. В результате подобных шагов работы лишатся миллионы людей во всем мире, уверен Хинтон и ряд других экспертов.

В дополнение к Методу исследователи придумали нелинейные функции активации. Они позволяют сети моделировать сложные взаимосвязи между входами и выходами. Это заложило основу для недавнего «возрождения» нейронных сетей уже в лице Deep Learning (Глубокое обучение).

Термин Deep Learning обрёл настоящую популярность только в 2010-х годах. Результаты исследований начали демонстрировать высокие результаты в обучении и составлении прогнозов на основе больших объёмов данных. Интерес к нейросетям начал сильно расти, а вместе с большим интересом пришли большие деньги.

Нейросеть выдает предположение о конкретной цифре на изображении, а затем сравнивает это предположение с реальным значением и вычисляет разницу между ними (ошибку). Затем ошибка используется для корректировки весов нейронов, которые влияют на выходные данные нейросети. Процесс повторяется много раз, пока сеть не начинает распознавать цифры с максимально высокой точностью. До появления Метода обучать нейросети было сложно, потому что было трудно обновлять веса сети для оптимизации работы.

Что будет дальше?

Следующим важным этапом стало создание перцептрона Фрэнком Розенблаттом в 1957 году. Это была первая искусственная нейросеть, способная обучаться. Она стала предшественником многих современных алгоритмов машинного обучения. Однако в те времена не хватало мощности компьютеров, чтобы проводить полноценные исследования, и проект по разработке ИИ был отложен на несколько десятилетий.

В последние годы мы все чаще слышим о нейросетях, которые в ближайшем будущем должны заменить многие профессии. И нам кажется, что идея создания искусственного интеллекта появилась совсем недавно. Однако нейронные сети от первых разработок прошли долгий путь длиной более полувека, и все еще находятся на начальной стадии развития. Нейросеть способна мгновенно обработать большое количество информации и работает по принципу человеческого мозга, но не может решать множество простых задач, с которыми человек сталкивается каждый день – распознавание эмоций, сарказм, понимание иносказаний.

Следующей впечатляющей вехой стал прорыв ученого в области распознавания изображений с помощью AlexNet, разработанной в сотрудничестве с его учениками Алексом Крижевским и Ильей Суцкевером (к слову, уроженцем Нижнего Новгорода) для ImageNet challenge в 2012 году. Так началась эпоха развития компьютерного зрения.

Однако искусственный интеллект был придуман задолго до сегодняшних технологий. Первыми, кто придумал нейросеть, были американский математик Уоррен Маккаллок и нейрофизиолог Уолтер Питтс. В 1943 году эти ученые создали первую модель биологического нейрона, что стало отправной точкой для развития нейронных сетей в будущем.

Руководит OpenAI правление, в которое входят Грег Брокман, Илья Суцкевер, Сэм Олтман и другие внештатные члены. По слухам, в ближайшем будущем организация планирует расширить свое влияние в сфере робототехники и уже установила партнерские отношения с крупными игроками в технологической индустрии.

До нейросетей были первые наработки в области искусственного интеллекта и машинного обучения. Сама концепция нейросети начала формироваться в 40-50-х годах прошлого века. Тогда исследователи пытались создать машину, которая могла бы имитировать функции человеческого мозга.

Кроме того, проект отличается собственным стилем и созданием более качественных изображений высокого уровня детализации, реализма и креативности с использованием текстовых подсказок. Проект стал возможным благодаря обучению модели искусственного интеллекта на огромных объемах данных и изображений.

Вместе с Дэвидом Румелхартом и Рональдом Дж. Уильямсом Хинтон написал одну из самых цитируемых статей в области исследования ИИ – «Изучение представлений путем обратного распространения ошибок». Статья, в которой популяризировался метод обратного распространения для обучения многоуровневых нейронных сетей, была опубликована в 1986 году.

2020е:

Создание Midjourney и его уникальной возможности генерации изображений на основе текстовых подсказок представляет собой интересное развитие в области искусственного интеллекта и цифрового творчества. Инициатором этого проекта стал Дэвид Хольц – выдающийся математический гений и предприниматель-ренегат, чьи достижения в области технологии трехмерного управления движением внесли значительный вклад в цифровую индустрию. Он является техническим директором и соучредителем компании Leap Motion, базирующейся в Сан-Франциско.

С появлением больших объемов данных, мощных вычислительных ресурсов и улучшенных алгоритмов, нейронные сети особенно быстро стали развиваться в последнее десятилетие. Из ученых, кто придумывает нейросеть в 2023 году, можно выделить следующие имена: Джеффри Хинтон, Андрю Янг, Джейф Дин, Илья Суцкевер. Ученые активно занимаются исследованием искусственных нейронных сетей и вносят весомый вклад в развитие высоких технологий будущего.

Активное развитие нейросетей продолжилось уже в конце XX века. В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс представили метод обратного распространения ошибки, который стал основным механизмом для глубокого обучения нейронных сетей. В результате продолжились исследования искусственного интеллекта.

Над искусственным интеллектом британо-канадский когнитивный психолог и специалист по информатике Джеффри Хинтон, родившийся 6 декабря 1947 года, работал всю жизнь. Он один из тех, кто стоял у истоков искусственного разума, развивая его с 1970-х годов (сразу после окончания Кембриджа). Он является автором и соавтором более 200 рецензируемых публикаций.

Практически каждый день стали появляться ресурсы, помогающие без специальных знаний пользоваться услугами нейросетей. Да, помимо GPT-моделей есть много как текстовых аналогов, так и графических нейросетей. Но перечислить их здесь не получится, ведь я обещал кратко.

Сегодня мы бросим взгляд на историю создания нейросетей и проследим их путь к современному состоянию. Это важно не только для специалистов в области искусственного интеллекта и компьютерных наук, но и для всех интересующихся, кто придумал нейросеть и какие выдающиеся умы лежат в основе технологий, ставших частью нашей жизни.