Алгоритм создания и обучения своей первой нейронной сети

Как нейросеть учится?

Первый метод обучения – формирование самоорганизующейся сети (сети Кохонена – по имени создателя). Она способна обрабатывать большие массивы данных, умеет искать и находить закономерности в процессах, выявлять их взаимные связи. Применяются сети Кохонена, чтобы анализировать сведения, полученные во время различных экспериментов.

Больше мощностей. Нейронные сети работают с матрицами, так что если нейронов много, вычисления получаются очень ресурсоемкие. Известные нейросети вроде Midjourney или ChatGPT — это сложные и «тяжелые» системы, для их работы нужны сервера с мощным «железом». Так что написать собственный DALL-E на домашнем компьютере не получится. Но есть сервисы для аренды мощностей: ими как раз пользуются инженеры машинного обучения, чтобы создавать, обучать и тестировать модели.

Человеческий мозг состоит из ста миллиардов клеток, которые называются нейронами. Они соединены между собой синапсами. Если через синапсы к нейрону придет достаточное количество нервных импульсов, этот нейрон сработает и передаст нервный импульс дальше. Этот процесс лежит в основе нашего мышления. Мы можем смоделировать это явление, создав нейронную сеть с помощью компьютера. Нам не нужно воссоздавать все сложные биологические процессы, которые происходят в человеческом мозге на молекулярном уровне, нам достаточно знать, что происходит на более высоких уровнях. Для этого мы используем математический инструмент — матрицы, которые представляют собой таблицы чисел. Чтобы сделать все как можно проще, мы смоделируем только один нейрон, к которому поступает входная информация из трех источников и есть только один выход. 3 входных и 1 выходной сигнал Наша задача — научить нейронную сеть решать задачу, которая изображена в ниже. Первые четыре примера будут нашим тренировочным набором. Получилось ли у вас увидеть закономерность? Что должно быть на месте вопросительного знака — 0 или 1?

С точки зрения математики задача искусственного нейрона – суммировать все сигналы, а затем применять к полученной взвешенной сумме простую нелинейную функцию. Она непрерывна по всей области и монотонно возрастает. Результат, который получается в итоге, направляется на один выход – аксон.

Разберемся, как создать простейшую нейронную сеть на ПК и чему-нибудь ее научить. Для тренировки, чтобы создать свою нейросеть онлайн, обратимся к образовательному проекту Google — Teachable Machine. Здесь есть простые инструменты создания моделей машинного обучения нейронных сетей для неопытных чайников.

Давайте поймем почему формула имеет такой вид. Сначала нам нужно учесть то, что мы хотим скорректировать вес пропорционально размеру ошибки. Далее ошибка умножается на значение, поданное на вход нейрона, что, в нашем случае, 0 или 1. Если на вход был подан 0, то вес не корректируется. И в конце выражение умножается на градиент сигмоиды. Разберемся в последнем шаге по порядку:

Переобучение модели

Путь развития нейронных сетей начался в 1943 году, когда была опубликована работа о кибернетике, написанная Норбертом Винером в соавторстве с другими учеными. В статье высказывалась идея о том, что сложные биологические процессы можно представить в виде математических моделей.

Объединяясь между собой, искусственные нейроны формируют нейронную сеть. У каждого свое текущее состояние, как это происходит с клетками головного мозга животных, то есть нейроны могут возбуждаться и затормаживаться. Определяют состояние по взвешенной сумме входов .

В том же 1943-ем ученые У. МакКалок и У. Питтс ввели понятие «нейронная сеть» и дали ему определение в публикации, где шла речь о нервной активности и логическом исчислении идей. Предложенная модель впоследствии была названа «моделью МакКаллока-Питтса» и развита другим ученым – Клини.

Например, на вход поступает картинка. Чтобы нейросеть могла понять, что на ней изображено, она должна выделить разные элементы из картинки, распознать их и подумать, что означает сочетание этих элементов. Примерно так работает зрительная кора в головном мозге. Это несколько задач, их не смогут решить одинаковые нейроны. Поэтому нужно несколько слоев, где каждый делает что-то свое. Для распознавания часто используют так называемые сверточные нейросети. Они состоят из комбинации сверточных и субдискретизирующих слоев, каждый из которых решает свою задачу.

Кликнув по кнопке «начать», вы оказываетесь на странице, где предлагается выбрать входящие данные – загрузить файл с диска или компьютера. Выходными сведениями могут быть звуковой файл или появление Gif-файла (картинки). Нейросеть Teachable Machine можно научить, например, «говорить» какое-то слово, когда объект на экране совершает определенное действие.

Больше нейронов. В нашей тренировочной нейросети только один нейрон. Но если нейронов будет больше — каждый из них сможет по-своему реагировать на входные данные, соответственно, на следующие нейроны будут приходить данные с разных синапсов. Значит — больше вариативность, «подумать» и передать сигнал дальше может не один нейрон, а несколько. Можно менять и формулу передачи, и связи между нейронами — так получаются разные виды нейронных сетей.