Алгоритмы обучения нейронной сети: наиболее распространенные варианты

Нейронная сеть и возможность ее обучения

В основе функционирования искусственного интеллекта лежит машинное обучение. Оно позволяет совершенствовать производительность ИИ без перепрограммирования системы. Говоря простым языком, этот процесс похож на обучение ребенка – он учится классифицировать и распознавать объекты, определять взаимосвязь между ними, и день за днем у него это получается все лучше.

Только что мы рассмотрели архитектуру базовой нейросети. Глубокие нейронные сети (сети глубокого обучения) обычно имеют много скрытых слоев, состоящих из миллионов связанных между собой искусственных нейронов. Количество связей одного нейрона с другими называют весом. Вес является положительным, если данный узел возбуждает другой, или отрицательным, если, наоборот, происходит подавление узла. Узлы с большим весом оказывают более сильное влияние на другие. Веса нейросети настраиваются в процессе обучения. Они определяют, какие данные будут учитываться при получении итогового результата, и какой вклад внесет тот или иной узел на выводы.

Обучающие примеры поступают в НС в определенной последовательности. Для каждого ответа происходит расчет ошибки и подстройка весов. Все это происходит до тех пор, пока неверные ответы по всему объему обучающего материала не примут значение допустимых показателей.

После первого этапа из популяции выбираются нейросети, успешнее всего справившиеся с задачей. Они используются для создания следующего поколения нейронных сетей. При этом применяются механизмы, аналогичные живой природе — скрещивание и мутации. Новое поколение снова принимается за решение задачи и цикл повторяется. Процесс идет до тех пор, пока не будет достигнут заданный критерий остановки (скажем, достижение определенной точности).

Если закрепить ключевые показатели подстройки весов, то можно не настраивать глобальные параметры – это является дополнительным плюсом использования метода. Причем существуют готовые значения таких показателей. Их применение рекомендовано, но жестких рамок по выбору значений нет.

Существует достаточно много способов обучения нейронных сетей. Однако все они сводятся к двум основным концепциям: с помощью учителя и без него. В этой связи снова можно провести аналогию с мозгом человека. Люди также способны приобретать опыт или с наставником, способным прочитать курс лекций, направлять и указывать верный путь к решению задачи, или самостоятельно, ориентируясь лишь на собственные наблюдения и полученный опыт. Рассмотрим оба этих принципа более подробно.

Алгоритм обратного распространения вносит решающий вклад в обучение глубоких нейросетей с несколькими слоями. Он позволяет эффективно оптимизировать веса узлов нейронной сети, в том числе в сложных архитектурах с большим количеством параметров. Помимо стандартного варианта такого алгоритма существуют его расширенные и продвинутые версии, способные адаптивно регулировать скорость обучения (например, Adam или RMSprop).

Этот метод называют также Resilient propagation (сокращенно Rprop). Он был предложен как альтернатива предыдущему способу обучения, который требует слишком много времени и становится неудобным, если результаты нужно получить в короткие сроки. Для увеличения скорости операций было разработано много вспомогательных алгоритмов, в том числе и методика упругого распространения.

Процесс обучение без учителя

Алгоритмы обучения нейросетей без учителя используют данные без классификации или меток. НС сама выстраивает логическую цепочку и усваивает понимание этих действий, ориентируясь лишь на вводные данные. По сути, это повторяет человеческое самообучение: индивид, предпринимая какие-либо действия, делает выводы о правильности либо ошибочности решения, ориентируясь на последствия.

Еще одним подвидом ML является трансферное обучение. Оно подразумевает использование знаний, полученных при решении одной задачи, для повышения эффективности работы над другой задачей. Процесс включает предварительное обучение на большом массиве данных и последующую точную настройку под специфику новой целевой задачи. Трансферное обучение в некоторых случаях позволяет существенно сэкономить время и ресурсы. Особенно оно актуально для ситуаций, когда необходимые исходные данные слишком дороги или ограничены для получения.

У нейросетей другая логика работы. Им дают большой массив правильно решенных задач. В нашем примере — это, скажем, тысяча чертежей домов с уже прописанными площадями. После этого нейронной сети дают возможность самой решить подобную задачу. Она начинает угадывать, какой ответ от нее хотят получить. Отдельный алгоритм подсказывает ей, правильно она справилась с решением или нет. Со временем нейросеть учится угадывать все лучше и лучше, формирует некие связи внутри своей структуры, которые обеспечивают полезный результат.

Завершение алгоритма происходит в тот момент, когда заканчиваются отведенные ему попытки или время на мутацию. При этом результат может остаться недостигнутым. Данный метод используется для улучшения показателей весов НС при условии, что структура задана по умолчанию. Вес при этом должен быть прописан двоичным кодом, а полный набор веса сформирует итоговый результат. Расчет ошибки на выходе обуславливает оценку эффективности.

Этот метод является основным при обучении по принципу epoch (один полный проход датасета через НС). Для подгонки весовых коэффициентов он использует лишь знаки производных частного случая. При этом обязательно выдерживать правило, позволяющее определить значение коррекции коэффициента веса.

Вне зависимости от используемого принципа обучение нейросетей состоит из двух ключевых этапов. На первом происходит тренировка — нейронная сеть учится, выстраивает необходимые связи, регулирует веса узлов. Но как мы проверим, насколько эффективно она это делает? Как и в случае с обычными учениками, нейросеть должна пройти экзамен. Естественно, вопросы на этом экзамене должны отличаться от тех, которые были использованы при тренировке, чтобы исключить вариант, что сеть просто «запомнила» правильный ответ. Это и есть второй этап, который называется тестированием.