Как сделать свою нейросеть за 10 минут на Python

Процесс тренировки

Затем нам понадобится веса для синапсов. Именно они будут выявлять взаимосвязь между входными данными и результатом. Сейчас просто запомните, что именно веса будут оказывать наибольшую роль в определении результата и чуть позже в коде мы воспользуемся популярным решением для инициализации весов. В частности, веса будут инициализироваться генератором случайных чисел. Это довольно важно, потому что если бы был способ найти идеальные начальные веса, то дальнейшее обучение сети просто не требовалось бы.

Больше нейронов. В нашей тренировочной нейросети только один нейрон. Но если нейронов будет больше — каждый из них сможет по-своему реагировать на входные данные, соответственно, на следующие нейроны будут приходить данные с разных синапсов. Значит — больше вариативность, «подумать» и передать сигнал дальше может не один нейрон, а несколько. Можно менять и формулу передачи, и связи между нейронами — так получаются разные виды нейронных сетей.

В учебных целях очень часто применяют самую простейшую из них, линейную. Ее еще называют единичный скачок или жесткая пороговая функция. Выглядит в коде она следующим образом. Мы же будем применять более адекватную и подходящую функцию активатора, а именно сигмоид.

Допустим, передадим ей значение 1.1.0. Как вы помните, во входных тренировочных данных такого значения у нас не было. В коде задействовать нашу уже обученную нейросеть можно также очень просто. Запускаем получившийся код и видим результат. Наша нейронная сеть прекрасно справилась и поняла, что очень большая вероятность того, что на выходе должна быть цифра 1. И то, что мы сейчас с вами запрограммировали, это простейшая нейронная сеть, которая называется Перцептрон. Но даже с такой простой нейронкой уже можно решить решать какие-то более-менее реальные задачи.

Другие методы и формулы. Чтобы нейроны обучались, нужно задать формулу корректировки весов — мы говорили про это выше. Если нейронов много, то формулу нужно как-то распространить на все из них. Для этого используется метод градиентного спуска: рассчитывается градиент по весам, а потом от него делается шаг в меньшую сторону. Звучит сложно, но на самом деле для этого есть специальные формулы и функции.

И позже я об этом еще покажу и расскажу в коде. Сам подход к обучению нейросети, то есть подразумевает старт с непрозрачностью, правильной позиции в поисках правильной. При этом довольно важен тот факт, что начальные веса не могут быть полностью одинаковыми, иначе они так одинаковыми в процессе обучения и останутся. Ну а раз мы все равно не знаем, какие должны быть веса, и нельзя делать их одинаковыми, то идея взять случайные веса в общем случае выглядит очень даже хорошо. И как я уже ранее сказал, именно благодаря весам нейрон будет определять результат.

Формула для расчета выхода нейрона

И теперь, когда мы понимаем общий принцип действия, давайте перейдем к написанию кода, чтобы более наглядно увидеть реализацию всего, что я только что рассказывал. Но сначала в Python нам нужно установить модуль numpy. Он нам понадобится для легкой и высокопроизводительной работы с многомерными массивами. В описании я оставлю ссылку на репозиторий numpy в PyPy. Устанавливается он, как и любой другой модуль в Python, без каких-либо проблем. Теперь в коде начнем с импорта numpy, а затем объявим функцию sigmoid для реализации нашей функции активатора. Уже здесь нам пригождается numpy.

Из него мы используем метод exp, который нужен для вычисления экспонента и всех элементов входного массива. Но нам это в принципе не важно. Как я ранее говорил, это просто формула, которую мы применяем. И не обязательно быть математиком, чтобы это делать. Затем нам нужно объявить тренировочные данные. С этой целью мы создадим две переменные. Первая это training inputs. Она будет хранить в себе массив 4 на 3 с соответствующими входными данными, которые я наглядно . показывал ранее на табличке.

И, конечно же, не забудем про генетический алгоритм, или же Genetic Algorithm. Тем не менее, основу основ обучения всех нейронок сегодня составляет именно метод обратного распространения. Именно им мы сейчас и воспользуемся. В коде этот метод будет выглядеть следующим образом. Итак, мы помним, что верными решениями для нас являются значения 0110.

Конечно, после сигмоида мы никогда не получим такие значения, но и результат после обучения нашей нейронки сложно назвать хоть чем-то хотя бы близко похожим на то, что нам нужно. И происходит это потому, что метод обратного распространения подразумевает многократное обучение нейронной сети. В коде которого будет производиться регулирование в соответствии с уже известными алгоритмами выравнивания весов.

Так часто происходит в реальных задачах, например, при распознавании предметов. Не у всех из них есть жесткие критерии: скажем, гипертрофированного мультяшного персонажа мы по-прежнему различаем как человека, хотя у него совсем другие пропорции. Нейронную сеть сложно научить похожему — но современные системы могут справиться и с этим.

И все это нужно будет повторить, например, 20 тысяч раз. В коде этот алгоритм у нас будет выглядеть следующим образом. Если вы хотите более подробно на математическом уровне узнать о том, как именно устроен данный алгоритм обучения нейросети, то я в описании оставлю ссылку на статью, которая на русском языке понятно объясняет, как это все работает. Ну а теперь мы запустим код, и как видите, после запуска мы получаем результат, больше похожий на правду. И по сути уже сейчас наша нейронная сеть обучена. Она сама научилась выявлять взаимосвязь между входными и выходными данными. Давайте проверим, как она справится в какой-то новой для себя ситуации.