Пишем свою нейросеть: пошаговое руководство

6 Распространение в скрытых слоях

В данных MNIST нужны результаты от изображений записаны как отдельное число. Нам нужно конвертировать это единственное число в вектор, чтобы его можно было сравнивать с исходным слоем с 10 узлами. Иными словами, если результат в MNIST обозначается как «1», то нам нужно его конвертировать в вектор: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0]. Такую конвертацию осуществляет следующий код:

В простых задачах CodeWhisperer предлагает до пяти очень похожих друг на друга вариантов дальнейшего кода. ИИ не замолкает, как некоторые его конкуренты, но иногда задумывается на 10—15 секунд. CodeWhisperer также справляется с написанием простых тестов и не пытается самостоятельно дополнить задачу.

Также инструмент от Google склонен выходить за пределы задачи. Например, вместо быстрой проверки он выполняет подробный анализ. Чтобы сократить объем ответа, надо выбрать опцию «Короче» или «Проще» — они представлены в виде кнопок в окне чата. В первом случае сервис уберет детали, а во втором перейдет на более простую лексику. Если выбрать вариант «Профессиональнее», то ответ станет более читаемым, но потребует понимания вопроса на стабильно базовом уровне.

Если вы в поисках пособия по искусственным нейронным сетям (ИНС), то, возможно, у вас уже имеются некоторые предположения относительно того, что это такое. Но знали ли вы, что нейронные сети — основа новой и интересной области глубинного обучения? Глубинное обучение — область машинного обучения, в наше время помогло сделать большой прорыв во многих областях, начиная с игры в Го и Покер с живыми игроками, и заканчивая беспилотными автомобилями. Но, прежде всего, глубинное обучение требует знаний о работе нейронных сетей.

Codeium не умеет работать со сторонними библиотеками, поэтому придется разбираться самостоятельно. Также надо учитывать, что этот ИИ смотрит только в открытый в редакторе кода файл, поэтому его возможности сильно ограничены. Задавать контекст проекта лучше всего комментариями, но это не панацея.

Если математика вам не очень хорошо дается, то вы можете пропустить этот раздел. В следующем разделе вы узнаете, как реализовать обратное распространение языке программирования. Но если вы не против немного больше поговорить о математике, то продолжайте читать, вы получите более глубокие знания по обучению нейронных сетей.

Из графика выше видно, что смещение 1 связано со всеми узлами в соседнем слое. Смещение в Ш1 имеет связь со всеми узлами в Ш2. Так как смещение не является настоящим узлом с активационной функцией, оно не имеет и входов (его входное значение всегда равно константе). Вес связи между смещением и узлом будем обозначать через b_i (l) , где i- номер узла в слое l+1, так же, как в w _ij (l) . К примеру с w ₂₁ (l) вес между смещением в Ш1 и вторым узлом в Ш2 будет иметь обозначение b₂ (1) .

ИИ без проблем справляется с отдельными задачами из курсов по Python и Java, но иногда ошибается в технических деталях при решении более сложных проблем. Выглядит это так: Copilot находит в хранилищах GitHub максимально похожую задачу и переносит решение оттуда, при этом игнорируя нюансы.

3 Градиентный спуск в нейронных сетях

Мы знаем, что δ_(l+1) имеет размер (s_l+1×1), а h (l) — размер (s_l×1). По правилу умножения матриц, если матрицу (n×m)умножить на матрицу (o×p), То мы получим матрицу размера (n×p). Если мы просто перемножим h_(l) на δ_(l+1), то количество столбцов в первом векторе (один столбец) не будет равно количеству строк во втором векторе (3 строки). Поэтому, для того, чтобы можно было умножить эти матрицы и получить результат размера (s_l+1× s_l), Нужно сделать трансформирование. Оно меняет в матрице столбцы на строки и наоборот (например матрицу вида (s_l×1)на (1×s_l)). Трансформирование обозначается как буква T над матрицей. Мы можем сделать следующее:

Существует более общий способ изобразить выражения, которые дают нам возможность уменьшить погрешность. Такое общее представление называется функция оценки. Например, функция оценки для пары вход-выход (x z , y z ) в нейронной сети будет выглядеть следующим образом:

Биологический нейрон имитируется в ИНС через активационную функцию. В задачах классификации (например определение спам-сообщений) активационная функция должна иметь характеристику «включателя». Иными словами, если вход больше, чем некоторое значение, то выход должен изменять состояние, например с 0 на 1 или -1 на 1 Это имитирует «включение» биологического нейрона. В качестве активационной функции обычно используют сигмоидальную функцию:

01. Зададим ΔW и Δb начальное значение ноль.
02. Для экземпляров от 1 до m: а. Запустите процесс прямого распространения через все n_l слоев. Храните вывод активационной функции в h (l) б. Найдите значение δ ( nl) выходного слоя. Обновите ΔW (l) и Δb ( l ) для каждого слоя.
03. Запустите процесс градиентного спуска, используя:

Так выглядит общая форма процесса прямого распространения, выход слоя l становится входом в слой l+1. Мы знаем, что h (1) является входным слоем x, а h (nl) (где nl- номер слоя в сети) является исходным слоем. Мы также не стали использовать индексы i и j-за того, что можно просто перемножить матрицы — это даст нам тот же результат. Поэтому данный процесс и называется «векторизацией». Этот метод имеет ряд плюсов. Во-первых, код его реализации выглядит менее запутанным. Во-вторых, используются свойства по линейной алгебре вместо циклов, что делает работу программы быстрее. С numpy можно легко сделать такие подсчеты. В следующей части быстро повторим операции над матрицами, для тех, кто их немного подзабыл.

Это означает, что по прохождению через экземпляры обучения нам нужно иметь отдельную переменную, которая равна сумме частных производных функции оценки каждого экземпляра. Такая переменная соберет в себе все значения для «глобального» подсчета. Назовем такую «суммированную» переменную ΔW (l) . Соответствующая переменная для смещения будет обозначаться как Δb (l) . Следовательно, при каждой итерации в процессе обучения сети нам нужно будет сделать следующие шаги: