Настройка гиперпараметров

Поиск по сетке в Sklearn: использование

Поиск по сетке (англ. Grid search) принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

SageMaker предлагает интеллектуальную версию методов настройки гиперпараметров, основанную на байесовской теории поиска и предназначенную для поиска наилучшей модели за кратчайшее время. Сначала платформа выполняет случайный поиск, но затем понимает, как ведет себя модель в отношении значений гиперпараметров. Чтобы узнать больше, прочтите о том, как работает настройка гиперпараметров в SageMaker.

command_job вызывается в виде функции, поэтому мы можем применить выражения параметров к входным данным очистки. Функция sweep затем настраивается с trial , sampling-algorithm , objective , limits и compute . Приведенный выше фрагмент кода взят из примера записной книжки Выполнение очистки гиперпараметров для Command или CommandComponent. В этом примере learning_rate настраиваются параметры и boosting параметры. Раннее завершение заданий определяется путем MedianStoppingPolicy остановки задания, основное значение метрики которого хуже медианы средних по всем заданиям обучения.( См . справочник по классу MedianStoppingPolicy).

Структура, функция и эффективность модели напрямую зависят от гиперпараметров. Настраивая гиперпараметры, специалисты по данным регулируют эффективность модели, чтобы добиться оптимальных результатов. Этот процесс является ключевой частью машинного обучения, а выбор подходящих значений гиперпараметров критически важен для успеха.

Предположим, к примеру, что темп обучения модели используется в качестве гиперпараметра. Если значения слишком высокие, конвергенция модели может произойти слишком быстро, а результаты при этом будут не оптимальными. Если же темп слишком низкий, обучение продлится слишком долго, и конвергенция результатов может не произойти. Хороший и сбалансированный подбор гиперпараметров – залог точных моделей и превосходной эффективности.

Когда вы обучаете модели машинного обучения, для каждого набора данных и модели нужен свой набор гиперпараметров, которые являются своего рода переменной. Сделать это можно только путем проведения экспериментов, в которых вы выбираете набор гиперпараметров и запускаете их в своей модели. Это называется настройкой гиперпараметров. По сути, вы последовательно обучаете свою модель с разными наборами гиперпараметров. Этот процесс можно выполняться вручную или вы можете выбрать один из нескольких автоматизированных методов настройки гиперпараметров.

Дискретные гиперпараметры

Настройка гиперпараметров, также называемая оптимизацией гиперпараметров, — это процесс поиска конфигурации гиперпараметров, приводящей к лучшей производительности. Этот процесс обычно требует значительных вычислительных ресурсов и выполняется вручную.

Процесс настройки гиперпараметров итеративный, и вы опробуете различные сочетания параметров и значений. В общем случае вы сначала определите целевую переменную, например точность, как первичный показатель, и свое намерение ее максимизировать или минимизировать. Рекомендуется применять методы перекрестной проверки, чтобы модель не фокусировалась на одной части ваших данных.

В этом примере политика раннего завершения применяется в каждом интервале, когда указываются метрики, начиная с оценочного интервала 5. Все задания, лучшая метрика которых меньше (1/(1+0,1)) или соответствует 91 % от заданий с лучшими результатами, будут завершены.

Как уже говорилось, настройку гиперпараметров можно выполнять вручную или автоматически. У медленного и скучного процесса ручной настройки есть свое преимущество: возможность лучше понять, как веса гиперпараметров влияют на модель. Но в большинстве инстансов вы, как правило, будете применять один из хорошо известных алгоритмов обучения гиперпараметров.

Автоматическая настройка модели SageMaker поддерживает также новую стратегию поиска Hyperband. Hyperband может найти оптимальный набор гиперпараметров в три раза быстрее, чем с помощью байесовского поиска при работе с крупномасштабными моделями, например глубокими нейронными сетями, применяемыми для решения задач компьютерного зрения.

Гиперпараметры – это внешние переменные конфигурации, с помощью которых специалисты по данным управляют обучением модели МО. Гиперпараметры (иногда их называют гиперпараметрами модели) настраиваются вручную перед обучением модели. Они отличаются от параметров – внутренних параметров, получаемых автоматически в процессе обучения и не настраиваемых специалистами по данным.

Политика медианной остановки — это политика досрочного завершения, использующая средние показатели основных метрик по всем заданиям. Эта политика вычисляет средние значения среди всех заданий обучения и останавливает задания, значение основной метрики которых хуже медианы средних показателей.

Количество параллельных заданий влияет на эффективность процесса настройки. Меньшее количество параллельных заданий может улучшить сходимость выборки, так как меньшая степень параллелизма увеличивает число заданий, оптимизированных по результатам прошлых заданий.

Случайный поиск

Читайте также об автоматической настройке моделей с помощью SageMaker. Используйте модуль настройки гиперпараметров SageMaker со встроенными алгоритмами SageMaker, пользовательскими алгоритмами и предварительно созданными контейнерами SageMaker. На веб-странице приведены материалы для всестороннего самообучения, а также упражнения, которые помогут вам научиться выполнять оптимизацию гиперпараметров.

Определите цель задания очистки, указав основную метрику и цель, которые требуется оптимизировать с помощью настройки гиперпараметров. Для основной метрики оценивается каждое задание обучения. Политика досрочного завершения использует основную метрику для обнаружения заданий с низкой результативностью.

Сценарий обучения вычисляет val_accuracy и регистрирует его как значение основной метрики «accuracy». Каждый раз при регистрации метрики значение метрики поступает на обработку в службу настройки гиперпараметров. Вы можете определить частоту создания отчетов.

Случайная выборка поддерживает дискретные и непрерывные гиперпараметры. Она поддерживает досрочное завершение заданий с низкой результативностью. Некоторые пользователи выполняют первоначальный поиск с помощью случайной выборки, а затем уточняют область поиска для улучшения результатов.

В этом примере политика раннего завершения применяется в каждом интервале, начиная с оценочного интервала 5. Задание останавливается на интервале 5, если его лучшая основная метрика хуже, чем медиана средних показателей за интервалы 1:5 во всех заданиях обучения.

В любом случае вам нужно отслеживать результаты своих экспериментов. Вам придется применить некоторую форму статистического анализа, например функцию потерь, чтобы определить, какой набор гиперпараметров дает наилучший результат. Настройка гиперпараметров – это важный процесс, требующий высокой вычислительной нагрузки.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация [math] \theta [/math] , SMAC строит распределение результатов модели для [math] \theta [/math] . С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [math] EI(\theta) [/math] . После нахождения [math] EI(\theta) [/math] необходимо найти конфигурацию с наибольшим значением [math] EI(\theta) [/math] . Эта задача приводит к проблеме максимизация значения на всем пространстве конфигураций. Другие методы SMBO максимизируют значения а случайной выборке из пространства конфигураций, что достаточно плохо работает в случае высокомерного пространства. SMAC применяет немного другой подход: выполняется несколько локальных и поисков и среди них выбираются все конфигурации с максимальным [math] EI(\theta) [/math] . И уже среди них производится новый поиск и выбирается лучшая конфигурация.

С помощью поиска по решетке указывают список гиперпараметров и показатель эффективности, а алгоритм прорабатывает все возможные сочетания для определения самого подходящего. Поиск по решетке приносит хорошие результаты, но относительно утомителен и требует интенсивных вычислений, особенно при большом количестве гиперпараметров.