Крестный отец нейросетей» уволился из Google

Однослойные нейронные сети

Хольц получил степень доктора философии и начал свою карьеру как консультант НАСА и Института Макса Планка. Математические открытия и научные исследования молодого ученого привели к созданию Leap – одной из самых мощных в мире технологий трехмерного управления движением. На момент значимых открытий в сфере высоких технологий Дэвид Хольцу был всего 24 года.

ChatGPT – одна из самых популярных в мире моделей ИИ, которая обучается понимать и генерировать текст в разных стилях и поддерживать диалоги с пользователями. Нейронная сеть, созданная на архитектуре GPT (Generative Pre-trained Transformer), разработана группой исследователей и инженеров компании OpenAI.

Проработав в Google более десяти лет, доктор 76-летний Джеффри Хинтон решил покинуть компанию. И дело не только в том, что человек решил уйти на пенсию. Он не стал делать тайну из реальных причин ухода. Наоборот, он подчеркивает, что виной тому сам искусственный интеллект (ИИ), над которым доктор работал много лет. Точнее, те опасности, которые он несет. Словом, г-н Хинтон настроен весьма пессимистично относительно судьбы человечества и воинственно по отношению к ИИ.

Как становится понятно из статьи, нельзя назвать имя одного конкретного человека, кто придумал искусственную нейросеть. Это коллективное многолетнее достижение научного сообщества. На сегодняшний день нейронные сети активно применяются в различных сферах – автомобильной промышленности, медицине, финансовой деятельности, игровой индустрии, рекламе и маркетинге. Однако искусственный интеллект еще далек от совершенства. Поэтому можно с утверждением сказать, что история развития нейросетей еще только начинается.

В последние годы мы все чаще слышим о нейросетях, которые в ближайшем будущем должны заменить многие профессии. И нам кажется, что идея создания искусственного интеллекта появилась совсем недавно. Однако нейронные сети от первых разработок прошли долгий путь длиной более полувека, и все еще находятся на начальной стадии развития. Нейросеть способна мгновенно обработать большое количество информации и работает по принципу человеческого мозга, но не может решать множество простых задач, с которыми человек сталкивается каждый день – распознавание эмоций, сарказм, понимание иносказаний.

Midjourney – это своего рода социальная сеть, где пользователи могут создавать и делиться уникальными произведениями искусства, сгенерированными по запросу нейросетью. Основное отличие Midjourney от похожих проектов DALL-E 2 от OpenAI заключается в том, что к боту можно получить доступ через интернет-протокол передачи голоса, социальную платформу мгновенных сообщений Discord, а не через сайт или мобильное приложение.

Обучение перцептрона

В сетях прямого распространения выход сети определяется входным сигналом и весовыми коэффициентами при искусственных нейронах. В сетях с обратными связями выходы нейронов могут возвращаться на входы. Это означает, что выход какого-нибудь нейрона определяется не только его весами и входным сигналом, но еще и предыдущими выходами (так как они снова вернулись на входы).

Задача обучения перцептрона — подобрать такие [math]w_0, w_1, w_2, \ldots, w_n[/math] , чтобы [math]sign(\sigma(w_0 + w_1 \cdot x_1 + w_2 \cdot x_2 + \ldots + w_n \cdot x_n))[/math] как можно чаще совпадал с [math]y(x)[/math] — значением в обучающей выборке (здесь [math]\sigma[/math] — функция активации). Для удобства, чтобы не тащить за собой свободный член [math]w_0[/math] , добавим в вектор $x$ лишнюю «виртуальную размерность» и будем считать, что [math]x = (1, x_1, x_2, \ldots, x_n)[/math] . Тогда [math]w_0 + w_1 \cdot x_1 + w_2 \cdot x_2 + \ldots + w_n \cdot x_n[/math] можно заменить на [math]w^T \cdot x[/math] .

В 2022 году Хинтон представил идею нового алгоритма обучения нейросетей. Она состоит в том, чтобы заменить традиционные прямые и обратные проходы обратного распространения двумя прямыми проходами: один с положительными (то есть реальными) данными, а другой – с отрицательными данными, которые могут быть сгенерированы исключительно самой нейросетью. Каждый уровень имеет свою собственную целевую функцию, которая заключается просто в том, чтобы иметь высокую достоверность для положительных данных и низкую достоверность для отрицательных данных. То есть сравнение с входными данными для корректировки связей нейросети исключается. Этот подход к обучению ИИ сегодня только изучается.

В основе перцептрона лежит математическая модель восприятия информации мозгом. Разные исследователи по-разному его определяют. В самом общем своем виде (как его описывал Розенблатт) он представляет систему из элементов трех разных типов: сенсоров, ассоциативных элементов и реагирующих элементов.

С появлением больших объемов данных, мощных вычислительных ресурсов и улучшенных алгоритмов, нейронные сети особенно быстро стали развиваться в последнее десятилетие. Из ученых, кто придумывает нейросеть в 2023 году, можно выделить следующие имена: Джеффри Хинтон, Андрю Янг, Джейф Дин, Илья Суцкевер. Ученые активно занимаются исследованием искусственных нейронных сетей и вносят весомый вклад в развитие высоких технологий будущего.

Руководит OpenAI правление, в которое входят Грег Брокман, Илья Суцкевер, Сэм Олтман и другие внештатные члены. По слухам, в ближайшем будущем организация планирует расширить свое влияние в сфере робототехники и уже установила партнерские отношения с крупными игроками в технологической индустрии.

После обучения сети, то есть когда сеть выдает корректные результаты для всех входных сигналов из обучающей выборки, ее можно использовать на практике. Однако прежде чем сразу использовать нейронную сеть, обычно производят оценку качества ее работы на так называемой тестовой выборке.

Помимо входного и выходного слоев эти нейронные сети содержат промежуточные, скрытые слои. Такие сети обладают гораздо большими возможностями, чем однослойные нейронные сети, однако методы обучения нейронов скрытого слоя были разработаны относительно недавно.

Применение

Работу скрытых слоев нейронов можно сравнить с работой большого завода. Продукт (выходной сигнал) на заводе собирается по стадиям на станках. После каждого станка получается какой-то промежуточный результат. Скрытые слои тоже преобразуют входные сигналы в некоторые промежуточные результаты.

Активное развитие нейросетей продолжилось уже в конце XX века. В 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс представили метод обратного распространения ошибки, который стал основным механизмом для глубокого обучения нейронных сетей. В результате продолжились исследования искусственного интеллекта.

Однако искусственный интеллект был придуман задолго до сегодняшних технологий. Первыми, кто придумал нейросеть, были американский математик Уоррен Маккаллок и нейрофизиолог Уолтер Питтс. В 1943 году эти ученые создали первую модель биологического нейрона, что стало отправной точкой для развития нейронных сетей в будущем.

Это определение «обучения нейронной сети» соответствует и биологическим нейросетям. Наш мозг состоит из огромного количества связанных друг с другом нейросетей, каждая из которых в отдельности состоит из нейронов одного типа (с одинаковой функцией активации). Наш мозг обучается благодаря изменению синапсов — элементов, которые усиливают или ослабляют входной сигнал.

Но надо сказать, что Хинтон с коллегами были не первыми, кто предложил этот подход. Первую обучаемую нейросеть еще в 1957 году продемонстрировал психолог Корнеллского университета Фрэнк Розенблатт. Но та сеть была одноуровневой (ограничена в количестве шаблонов обучения), а у Хинтона – многоуровневая. Именно поэтому его и называют не отцом, а «Крестным отцом ИИ», наставником и воспитателем, не родившим, а развившим нейросети до современного уровня.

Хорошим примером биологической нейронной сети является человеческий мозг. Наш мозг — сложнейшая биологическая нейронная сеть, которая принимает информацию от органов чувств и каким-то образом ее обрабатывает (узнавание лиц, возникновение ощущений и т.д.). Мозг же, в свою очередь, состоит из нейронов, взаимодействующих между собой.

Следующим важным этапом стало создание перцептрона Фрэнком Розенблаттом в 1957 году. Это была первая искусственная нейросеть, способная обучаться. Она стала предшественником многих современных алгоритмов машинного обучения. Однако в те времена не хватало мощности компьютеров, чтобы проводить полноценные исследования, и проект по разработке ИИ был отложен на несколько десятилетий.

Само обучение нейронной сети можно разделить на два подхода: обучение с учителем [на 28.01.19 не создан] и обучение без учителя [на 28.01.19 не создан] . В первом случае веса меняются так, чтобы ответы сети минимально отличались от уже готовых правильных ответов, а во втором случае сеть самостоятельно классифицирует входные сигналы.