Как устроена нейронная сеть и зачем ей слои

Машинное зрение

Генеративно-состязательные сети (GAN) состоят из двух нейронных сетей — генератора и дискриминатора. Генератор использует слои для создания новых данных, а дискриминатор применяет слои для оценки реалистичности сгенерированных данных. Поэтому сетки, построенные на GAN, хорошо работают с задачами генерации новых данных — создания изображений или музыки.

Неправильный выбор архитектуры может привести к провалу. Бессмысленно пытаться заставить сверточную сеть, предназначенную для изображений, распознавать речь. Входные данные — спектрограммы речи — имеют другую структуру по сравнению с изображениями, и свёрточные слои будут неэффективны для их обработки. В этом случае лучше применить рекуррентную сеть, которая может последовательно обрабатывать аудиоданные и учитывать неочевидные связи в естественной человеческой речи.

Эти сложные алгоритмы, вдохновлённые работой человеческого мозга, способны обрабатывать огромные объёмы данных и выявлять закономерности, которые трудно заметить с помощью традиционных методов анализа. Нейронные сети находят применение в самых различных областях — от финансовых прогнозов и диагностики заболеваний до персонализированного маркетинга и автоматизации производственных процессов.

Процесс обучения бывает ручным и автоматическим и выглядит обычно так. Нейросети дают на вход разные данные, она анализирует их, а потом ей сообщают, каким должен быть правильный ответ. Сеть устроена так, что будет «стремиться» подогнать веса синапсов, чтобы выдавать верные результаты.

Слои нормализации решают эту проблему, выравнивая, нивелируя разницу во входных данных. Они вычисляют среднее значение и стандартное отклонение входных данных для мини-батча и нормализуют их, чтобы значения были в диапазоне от 0 до 1. Это помогает нейросети обучаться быстрее и лучше обобщать данные.

Нейросеть повторяет этот же принцип, но программно. Нейроны — это программные объекты, внутри которых хранится какая-то формула. Они соединены синапсами — связями, у которых есть веса: некоторые числовые значения. Веса отражают накопленную нейросетью информацию, но сами по себе, в отрыве от сети, не несут информационной ценности.

Интересно то, что конкретные признаки, нужные для узнавания, неизвестны. Мы не можем точно сказать, почему понимаем, что кот — это кот, даже если он нарисован в необычном стиле и не похож на настоящего. У нейросетей так же. Разработчики до конца не знают, какие именно признаки «запомнила» нейросеть, — поэтому даже работающий и протестированный программный продукт может выдавать ошибки. Например, воспринимать человека с ободком в виде кошачьих ушек как кота.

Синапсы. Синапс — это связь между нейронами. У каждого синапса есть веса — числовые коэффициенты, от которых как раз и зависит поведение нейронной сети. В самом начале, при инициализации сети, эти коэффициенты расставляются случайным образом. Но в ходе обучения они меняются и подстраиваются так, чтобы сеть эффективнее решала задачу.

Например, в случае распознавания изображений первые скрытые слои могут обнаруживать простые элементы (края и углы), а последующие слои комбинируют эти элементы в более сложные структуры (формы и объекты). Количество скрытых слоев потенциально бесконечно — их количество зависит от сложности задачи и архитектуры нейронной сети.

Пулинг также помогает выделить наиболее значимые признаки из данных, что делает модель более устойчивой к шуму и искажениям. Например, если изображение немного изменится (например, сдвинется или изменится освещение), слой пулинга все равно сможет распознать основные формы и объекты.

Сверточные нейронные сети (CNN) обычно состоят из чередующихся сверточных слоёв и слоёв пулинга, за которыми следуют один или несколько полносвязных слоев. Благодаря операции свёртки слои в CNN эффективно извлекают пространственные признаки из изображений и демонстрируют высокую точность на задачах классификации изображений. Соответственно, такой тип сеток хорош для задач компьютерного зрения, например, распознавания объектов на фото.

В 1980-х годах, когда появились более мощные компьютеры для вычислений, исследователи смогли разработать нейросети с двумя и тремя уровнями обучения. Однако возрождение интереса к нейронным сетям и революция в глубоком обучении произошли лишь в последние годы благодаря индустрии компьютерных игр. Современные игры требуют сложных вычислений для обработки большого числа операций. В итоге производители начали выпускать графические процессоры (GPU), которые объединяют тысячи относительно простых вычислительных ядер на одном чипе. Исследователи вскоре поняли, что архитектура графического процессора очень похожа на архитектуру нейросети.

В основе искусственной нейронной сети лежит устройство нервной ткани человека. Она состоит из нервных клеток, связанных между собой длинными отростками. В клетках происходят нервные импульсы, они передаются по отросткам в другие клетки. Таким образом нервная ткань обрабатывает или генерирует информацию. Сами импульсы очень сложно расшифровать: это не понятные человеку данные, а набор слабых электрических токов, которые нейроны воспринимают как информацию.

Во время обучения слой Dropout случайным образом «выключает» (то есть игнорирует) определённый процент нейронов в предыдущем слое — и эти нейроны не участвуют в текущей итерации обучения. Модель вынуждена учиться по-другому, полагаясь на различные комбинации имеющихся нейронов для предсказания результата. Так слои исключения предотвращают переобучение модели — overfitting.

Как всегда бывает с технологиями на определённом уровне распространения, большинство пользователей не знает, как это устроено и работает. Пользователь взаимодействует с простым понятным интерфейсом и не представляет, что происходит под капотом. Это нормально.

Как обучают нейросети

Для эффективного обучения нужно много повторений. Иначе нейронная сеть будет работать неточно — ведь входные данные могут серьезно различаться, а она окажется натренирована только на один возможный вариант. Поэтому обучение проводится в несколько итераций и эпох.

Слои Dropout помогают предотвратить переобучение модели и улучшить её способность обобщать данные. Переобучение происходит, когда модель слишком хорошо запоминает тренировочные данные, но плохо работает на новых, незнакомых данных. Слои исключения помогают избежать этой проблемы.

Но по какой логике пересчитываются веса, понять можно. В ходе обучения нейросеть анализирует данные, а потом ей дают правильный ответ. Этот ответ для нее — числовое значение. Поэтому она подгоняет веса так, чтобы в своей работе сеть приближалась к эталонному значению. Мы подробнее расскажем об этом процессе ниже, когда поговорим про обучение.

Перцептроны — Это классические нейронные сети, изначально однослойные, позже многослойные. Сейчас используются в основном для вычислений. Сверточные нейронные сети — Это многослойные сети, которые состоят из чередующихся сверточных и субдискретизирующих слоев и предназначены специально для работы с изображениями. Рекуррентные нейронные сети Их особенность в возможности последовательно обрабатывать цепочки данных и «запоминать» предыдущую информацию. Поэтому их применяют для работы с изменяющимися сведениями или длинными цепочками данных, например рукописными текстами. Генеративные нейронные сети Предназначены для создания контента. Иногда используются генеративно-состязательные нейросети — связка из двух сетей, где одна создает контент, а другая оценивает его качество.

Рекуррентные нейронные сети (RNN), включая LSTM и GRU, имеют петли обратной связи, позволяющие им обрабатывать последовательные данные по одному элементу за раз. Они используют специальные рекуррентные слои, которые запоминают предыдущие состояния и учитывают контекст, «видят» зависимости между последовательными элементами. Рекуррентные нейронные сети (RNN) или их модификации хороши для обработки текста или речи.

Кроме того, есть входной и выходной слои. Входной принимает информацию и преобразовывает ее, например переводит картинку в матрицу из чисел. Выходной обрабатывает результат и представляет его в понятном человеку виде. Например, результат 0,77827273 он представит как «с точностью в 78% это такой-то предмет».

В отличие от полносвязных и свёрточных слоев, которые обрабатывают каждый элемент входной последовательности отдельно, рекуррентные слои используют информацию о предыдущих элементах для обработки текущего. Основная идея рекуррентности в том, что на каждом шаге обработки последовательности слой получает текущий элемент и предыдущее внутреннее состояние. Он объединяет эту информацию, обновляет свое состояние и генерирует выходной элемент. Это позволяет им эффективно работать с последовательными данными, где важны зависимости между элементами.

Принцип действия нейросети не похож на классическую программу. Такой сети не дают четкого алгоритма: ее обучают, чтобы она могла самостоятельно выполнять ту или иную задачу. В результате деятельность программы становится менее предсказуемой, но более вариативной и даже творческой.