Алгоритм создания и обучения своей первой нейронной сети

Процесс тренировки

Давайте поймем почему формула имеет такой вид. Сначала нам нужно учесть то, что мы хотим скорректировать вес пропорционально размеру ошибки. Далее ошибка умножается на значение, поданное на вход нейрона, что, в нашем случае, 0 или 1. Если на вход был подан 0, то вес не корректируется. И в конце выражение умножается на градиент сигмоиды. Разберемся в последнем шаге по порядку:

Когда мы узнаем дельту последнего слоя, мы сможем найти дельты и всех предыдущих слоев. Чтобы это сделать, нужно будет лишь перемножить для текущего слоя транспонированную матрицу с дельтой, а потом перемножить результат с вектором производных функции активации предыдущего слоя:

Последовательность нейрослоев часто применяют для более глубокого обучения нейронной сети и большей формализации имеющихся данных. Именно поэтому, чтобы получить итоговый выходной вектор, нужно проделать вышеописанную операцию пару раз подряд по направлению от одного слоя к другому. В результате для 1-го слоя входным вектором будет являться X, а для последующих входом будет выход предыдущего слоя. То есть нейронная сеть может выглядеть следующим образом:

Другие методы и формулы. Чтобы нейроны обучались, нужно задать формулу корректировки весов — мы говорили про это выше. Если нейронов много, то формулу нужно как-то распространить на все из них. Для этого используется метод градиентного спуска: рассчитывается градиент по весам, а потом от него делается шаг в меньшую сторону. Звучит сложно, но на самом деле для этого есть специальные формулы и функции.

Первый метод обучения – формирование самоорганизующейся сети (сети Кохонена – по имени создателя). Она способна обрабатывать большие массивы данных, умеет искать и находить закономерности в процессах, выявлять их взаимные связи. Применяются сети Кохонена, чтобы анализировать сведения, полученные во время различных экспериментов.

Один нейрон может превратить в одну точку входной вектор, но по условию мы желаем получить несколько точек, т. к. выходное Y способно иметь произвольную размерность, которая определяется лишь ситуацией (один выход для XOR, десять выходов, чтобы определить принадлежность к одному из десяти классов, и так далее). Каким же образом получить n точек? На деле все просто: для получения n выходных значений, надо задействовать не один нейрон, а n. В результате для каждого элемента выходного Y будет использовано n разных взвешенных сумм от X. В итоге мы придем к следующему соотношению:

Человеческий мозг состоит из ста миллиардов клеток, которые называются нейронами. Они соединены между собой синапсами. Если через синапсы к нейрону придет достаточное количество нервных импульсов, этот нейрон сработает и передаст нервный импульс дальше. Этот процесс лежит в основе нашего мышления. Мы можем смоделировать это явление, создав нейронную сеть с помощью компьютера. Нам не нужно воссоздавать все сложные биологические процессы, которые происходят в человеческом мозге на молекулярном уровне, нам достаточно знать, что происходит на более высоких уровнях. Для этого мы используем математический инструмент — матрицы, которые представляют собой таблицы чисел. Чтобы сделать все как можно проще, мы смоделируем только один нейрон, к которому поступает входная информация из трех источников и есть только один выход. 3 входных и 1 выходной сигнал Наша задача — научить нейронную сеть решать задачу, которая изображена в ниже. Первые четыре примера будут нашим тренировочным набором. Получилось ли у вас увидеть закономерность? Что должно быть на месте вопросительного знака — 0 или 1?

Под искусственной нейронной сетью (ИНС) понимают математическую модель (включая ее программное либо аппаратное воплощение), которая построена и работает по принципу функционирования биологических нейросетей — речь идет о нейронных сетях нервных клеток живых организмов.

Как можно улучшить нейронную сеть

Больше мощностей. Нейронные сети работают с матрицами, так что если нейронов много, вычисления получаются очень ресурсоемкие. Известные нейросети вроде Midjourney или ChatGPT — это сложные и «тяжелые» системы, для их работы нужны сервера с мощным «железом». Так что написать собственный DALL-E на домашнем компьютере не получится. Но есть сервисы для аренды мощностей: ими как раз пользуются инженеры машинного обучения, чтобы создавать, обучать и тестировать модели.

Но ее легко получить путем увеличения количества нейронов. Давайте попробуем реализовать обучение с тремя нейронами в скрытом слое и одним выходным (выход ведь у нас только один). Чтобы все получилось, создадим массив X и Y, имеющий обучающие данные и саму нейронную сеть:

Путь развития нейронных сетей начался в 1943 году, когда была опубликована работа о кибернетике, написанная Норбертом Винером в соавторстве с другими учеными. В статье высказывалась идея о том, что сложные биологические процессы можно представить в виде математических моделей.

Говоря проще, ИНС можно назвать неким «черным ящиком», превращающим входные данные в выходные данные. Если же посмотреть на это с точки зрения математики, то речь идет о том, чтобы отобразить пространство входных X-признаков в пространство выходных Y-признаков: X → Y. Таким образом, нам надо найти некую F-функцию, которая сможет выполнить данное преобразование. На первом этапе этой информации достаточно в качестве основы.

Только что созданная нейросеть ничего «не знает» и похожа на мозг новорожденного ребенка, в котором еще не сформировались нейронные связи. Как и малышу, искусственной нейросети требуется обучаться, и такая способность у нее есть. Поэтому в качестве синонима выражения «нейронные сети» часто используется фраза «глубокое обучение». Еще один синоним – «искусственный интеллект».

Пусть у нас уже есть нейронная сеть, но ведь ее ответы являются случайными, то есть наша нейросеть не обучена. Сейчас она способна лишь по входному вектору input выдавать случайный ответ, но нам нужны ответы, которые удовлетворяют конкретной поставленной задаче. Дабы этого достичь, сеть надо обучить. Здесь потребуется база тренировочных примеров и множество пар X — Y, на которых и будет происходить обучение, причем с использованием известного алгоритма обратного распространения ошибки.

Дабы найти значение ошибки E, надо найти сумму квадратов разности векторных значений, которые были выданы нейронной сетью в виде ответа, а также вектора, который ожидается увидеть при обучении. Еще надо будет найти дельту каждого слоя и учесть, что для последнего слоя дельта будет равняться векторной разности фактического и ожидаемого результатов, покомпонентно умноженной на векторное значение производных последнего слоя:

С точки зрения математики задача искусственного нейрона – суммировать все сигналы, а затем применять к полученной взвешенной сумме простую нелинейную функцию. Она непрерывна по всей области и монотонно возрастает. Результат, который получается в итоге, направляется на один выход – аксон.

Генерация фото и видео в нейронной сети

Суть сводилась к тому, что нейронная сеть способна к выполнению любых логических операций и преобразований, которые генерируются в дискретных устройствах, обладающих конечной памятью. Таким образом создатели модели дали формулировку основным положениям работы головного мозга. Ученые создали 1-ую модель нейрона, который, по их мнению, является простейшим процессорным элементом. МакКаллок и Питтс предложили свой вариант конструкции такой сети, состоящей из таких элементов, чтобы она могла решать арифметические и логические задачи. Авторы предположили, что такую сеть можно научить распознаванию образов и обобщению полученных данных. Этот принцип действия моделей нейронов в искусственной сети актуален и сегодня.

Программа прогоняет входные фото через нейросеть, создавая bottleneck – файлы текстового типа, в которых содержатся данные о картинках. Спустя несколько десятков минут процесс завершается. Иерархические нейронные сети могут распознать на любых картинках цветы, фото которых удалось прогнать через ПК.

Настройка обучения нейронной сети начинается с группировки примеров. Это могут быть готовые файлы либо живая запись на камеру в ноутбуке или ПК. Например, если нажать на кнопку «Train Green», сервис сделает несколько десятков снимков, таким образом находя закономерность. Набор снимков называется «датасет».

Еще есть, например, метод обратного распространения ошибки — градиентный алгоритм для многослойных нейросетей. Сигналы ошибки, рассчитанные с помощью градиента, распространяются от выхода нейронной сети к входу, то есть идут не в прямом, а в обратном направлении.

Разберемся, как создать простейшую нейронную сеть на ПК и чему-нибудь ее научить. Для тренировки, чтобы создать свою нейросеть онлайн, обратимся к образовательному проекту Google — Teachable Machine. Здесь есть простые инструменты создания моделей машинного обучения нейронных сетей для неопытных чайников.

Для уменьшения ошибки нейронной сети надо поменять весовые коэффициенты, причем послойно. Каким же образом это осуществить? Ничего сложного в этом нет: надо воспользоваться методом градиентного спуска. То есть нам надо рассчитать градиент по весам и сделать шаг от полученного градиента в отрицательную сторону. Давайте вспомним, что на этапе прямого распространения мы запоминали входные сигналы, а во время обратного распространения ошибки вычисляли дельты, причем послойно. Как раз ими и надо воспользоваться в целях нахождения градиента. Градиент по весам будет равняться не по компонентному перемножению дельт и входного вектора. Дабы обновить весовые коэффициенты, снизив таким образом ошибку нейросети, нужно просто вычесть из матрицы весов итог перемножения входных векторов и дельт, помноженный на скорость обучения. Все вышеперечисленное можно записать в следующем виде: