Нейронные сети, перцептрон

Источники информации

С появлением больших объемов данных, мощных вычислительных ресурсов и улучшенных алгоритмов, нейронные сети особенно быстро стали развиваться в последнее десятилетие. Из ученых, кто придумывает нейросеть в 2023 году, можно выделить следующие имена: Джеффри Хинтон, Андрю Янг, Джейф Дин, Илья Суцкевер. Ученые активно занимаются исследованием искусственных нейронных сетей и вносят весомый вклад в развитие высоких технологий будущего.

После обучения сети, то есть когда сеть выдает корректные результаты для всех входных сигналов из обучающей выборки, ее можно использовать на практике. Однако прежде чем сразу использовать нейронную сеть, обычно производят оценку качества ее работы на так называемой тестовой выборке.

Создание Midjourney и его уникальной возможности генерации изображений на основе текстовых подсказок представляет собой интересное развитие в области искусственного интеллекта и цифрового творчества. Инициатором этого проекта стал Дэвид Хольц – выдающийся математический гений и предприниматель-ренегат, чьи достижения в области технологии трехмерного управления движением внесли значительный вклад в цифровую индустрию. Он является техническим директором и соучредителем компании Leap Motion, базирующейся в Сан-Франциско.

Джеффри Хинтон, которого называют «Крестным отцом ИИ», рассказал The New York Times, что люди уже начали сталкиваться с негативными последствиями деятельности нейросетей. Это, например, потеря рабочих мест, когда работодатели поручают ИИ часть обязанностей увольняемых рабочих. Например, в Баварии на заводе BMW нейросети и роботы уже контролируют качество покраски кузовов автомобилей, а немногочисленные проверяющие люди лишь подстраховывают их. В результате подобных шагов работы лишатся миллионы людей во всем мире, уверен Хинтон и ряд других экспертов.

Midjourney – это своего рода социальная сеть, где пользователи могут создавать и делиться уникальными произведениями искусства, сгенерированными по запросу нейросетью. Основное отличие Midjourney от похожих проектов DALL-E 2 от OpenAI заключается в том, что к боту можно получить доступ через интернет-протокол передачи голоса, социальную платформу мгновенных сообщений Discord, а не через сайт или мобильное приложение.

Как видно на рисунке справа, у нейрона есть [math]n[/math] входов [math]x_i[/math] , у каждого из которого есть вес [math]w_i[/math] , на который умножается сигнал, проходящий по связи. После этого взвешенные сигналы [math]x_i \cdot w_i[/math] направляются в сумматор, который аггрегирует все сигналы во взвешенную сумму. Эту сумму также называют [math]net[/math] . Таким образом, [math]net = \sum_^ w_i \cdot x_i = w^T \cdot x[/math] .

В сетях прямого распространения выход сети определяется входным сигналом и весовыми коэффициентами при искусственных нейронах. В сетях с обратными связями выходы нейронов могут возвращаться на входы. Это означает, что выход какого-нибудь нейрона определяется не только его весами и входным сигналом, но еще и предыдущими выходами (так как они снова вернулись на входы).

Как правило, в большинстве нейронных сетей есть так называемый входной слой, который выполняет только одну задачу — распределение входных сигналов остальным нейронам. Нейроны этого слоя не производят никаких вычислений. В остальном нейронные сети делятся на основные категории, представленные ниже.

Итоги

Следующей впечатляющей вехой стал прорыв ученого в области распознавания изображений с помощью AlexNet, разработанной в сотрудничестве с его учениками Алексом Крижевским и Ильей Суцкевером (к слову, уроженцем Нижнего Новгорода) для ImageNet challenge в 2012 году. Так началась эпоха развития компьютерного зрения.

Его ключевая особенность состоит в том, что каждый S-элемент однозначно соответствует одному A-элементу, все S-A связи имеют вес, равный +1, а порог A элементов равен 1. Часть однослойного перцептрона, не содержащая входы, соответствует искусственному нейрону, как показано на картинке. Таким образом, однослойный перцептрон — это искусственный нейрон, который на вход принимает только 0 и 1.

Само обучение нейронной сети можно разделить на два подхода: обучение с учителем [на 28.01.19 не создан] и обучение без учителя [на 28.01.19 не создан] . В первом случае веса меняются так, чтобы ответы сети минимально отличались от уже готовых правильных ответов, а во втором случае сеть самостоятельно классифицирует входные сигналы.

Иначе говоря, мы минимизируем суммарное отклонение наших ответов от правильных, но только в неправильную сторону; верный ответ ничего не вносит в функцию ошибки. Умножение на [math]y(x)[/math] здесь нужно для того, чтобы знак произведения всегда получался отрицательным: если правильный ответ −1, значит, перцептрон выдал положительное число (иначе бы ответ был верным), и наоборот. В результате у нас получилась кусочно-линейная функция, дифференцируемая почти везде, а этого вполне достаточно.

Кроме того, проект отличается собственным стилем и созданием более качественных изображений высокого уровня детализации, реализма и креативности с использованием текстовых подсказок. Проект стал возможным благодаря обучению модели искусственного интеллекта на огромных объемах данных и изображений.

Помимо входного и выходного слоев эти нейронные сети содержат промежуточные, скрытые слои. Такие сети обладают гораздо большими возможностями, чем однослойные нейронные сети, однако методы обучения нейронов скрытого слоя были разработаны относительно недавно.

Просто так передавать взвешенную сумму [math]net[/math] на выход достаточно бессмысленно — нейрон должен ее как-то обработать и сформировать адекватный выходной сигнал. Для этих целей используют функцию активации, которая преобразует взвешенную сумму в какое-то число, которое и будет являться выходом нейрона. Функция активации обозначается [math]\phi(net)[/math] . Таким образом, выходов искусственного нейрона является [math]\phi(net)[/math] .

Однако искусственный интеллект был придуман задолго до сегодняшних технологий. Первыми, кто придумал нейросеть, были американский математик Уоррен Маккаллок и нейрофизиолог Уолтер Питтс. В 1943 году эти ученые создали первую модель биологического нейрона, что стало отправной точкой для развития нейронных сетей в будущем.

Перцептрон

Однослойный персептрон (англ. Single-layer perceptron) — перцептрон, каждый S-элемент которого однозначно соответствует одному А-элементу, S-A связи всегда имеют вес 1, а порог любого А-элемента равен 1. Часть однослойного персептрона соответствует модели искусственного нейрона.

Для построения искусственной нейронной сети будем использовать ту же структуру. Как и биологическая нейронная сеть, искусственная состоит из нейронов, взаимодействующих между собой, однако представляет собой упрощенную модель. Так, например, искусственный нейрон, из которых состоит ИНС, имеет намного более простую структуру: у него есть несколько входов, на которых он принимает различные сигналы, преобразует их и передает другим нейронам. Другими словами, искусственный нейрон — это такая функция [math]\mathbb^n \rightarrow \mathbb[/math] , которая преобразует несколько входных параметров в один выходной.

В последние годы мы все чаще слышим о нейросетях, которые в ближайшем будущем должны заменить многие профессии. И нам кажется, что идея создания искусственного интеллекта появилась совсем недавно. Однако нейронные сети от первых разработок прошли долгий путь длиной более полувека, и все еще находятся на начальной стадии развития. Нейросеть способна мгновенно обработать большое количество информации и работает по принципу человеческого мозга, но не может решать множество простых задач, с которыми человек сталкивается каждый день – распознавание эмоций, сарказм, понимание иносказаний.

Вместе с Дэвидом Румелхартом и Рональдом Дж. Уильямсом Хинтон написал одну из самых цитируемых статей в области исследования ИИ – «Изучение представлений путем обратного распространения ошибок». Статья, в которой популяризировался метод обратного распространения для обучения многоуровневых нейронных сетей, была опубликована в 1986 году.

Над искусственным интеллектом британо-канадский когнитивный психолог и специалист по информатике Джеффри Хинтон, родившийся 6 декабря 1947 года, работал всю жизнь. Он один из тех, кто стоял у истоков искусственного разума, развивая его с 1970-х годов (сразу после окончания Кембриджа). Он является автором и соавтором более 200 рецензируемых публикаций.

Работу скрытых слоев нейронов можно сравнить с работой большого завода. Продукт (выходной сигнал) на заводе собирается по стадиям на станках. После каждого станка получается какой-то промежуточный результат. Скрытые слои тоже преобразуют входные сигналы в некоторые промежуточные результаты.