Нейронные сети на Python: как всё устроено

Software environments for studying the basics of neural networks

Исследователи ставили разные задачи, например просили языковую модель перевести серию французских слов на китайский. Так, они дали LLM французское слово, затем китайский перевод, еще одно французское слово, китайский перевод и т. д., поэтому модель «знала», что она должна перевести французское слово на китайский. В идеале модель должна давать 100% вероятность для китайского слова. Но когда ученые заставили ее делать прогнозы перед последним слоем, они заметили, что большую часть времени модель предсказывала английский перевод французского слова, хотя английский в этой задаче нигде не фигурировал. И только в последних четырех или пяти слоях китайский встречается чаще, чем английский.

В статье, которая вышла в препринте на arXiv, исследователи описывают, как заставили модель реагировать после каждого слоя каждый раз, когда она пыталась предсказать следующее слово, вместо того, чтобы позволить ей выполнять вычисления на основе 80 слоев. Так ученые смогли увидеть, какое слово предсказала бы модель в тот момент.

Используем сверточную нейронную сеть, которая, как известно, направлена на работу с изображениями. В отличие от персептрона, рассматривающего все изображение сразу, сверточная нейронная сеть сканирует изображение по частям. Сверточные нейронные сети работают на основе фильтров, распознающих определенные характеристики изображения [7]. Фильтр представляет собой коллекцию кернелов — матрицу чисел, называемых весами, которая является результатом обучения и получения карты признаков «кернел-изображение». Фильтр перемещается вдоль изображения и определяет, присутствует ли искомая характеристика (кернел) на сканируемом участке изображения (рис. 1). Для получения ответа выполняется операция свертки, которая является суммой произведений элементов фильтра и матрицы входных сигналов (пикселей изображения).

Сегодня IT-индустрия развивается небывалыми темпами, вместе с этим растет популярность машинного обучения. Оно оказывает огромное влияние на многие процессы в мире, поэтому все больше людей интересуется ее направлениями. Одно из них – нейронные сети. Они строятся по принципу организации и функционирования нашего мозга.

TensorFlow — библиотека для машинного обучения от компании Google с открытым исходным кодом. Применяется для построения и тренировки нейронной сети, решающей задачи нахождения и классификации образов. Библиотека построена на парадигме программирования потоков данных, позволяющей оптимизировать математические вычисления. Вычисления в TensorFlow выполняются при помощи графа потоков данных, узлы которого отображают операции, а ребра — потоки данных между узлами.

The paper describes the ways and methods of studying and constructing neural networks . It is shown that the study of the functioning guidelines of neural networks , their application for solving certain problems is possible only through practice. There is the analysis of various software environments that can be used in the laboratory and practical classes for the study and application of neural networks in the paper. Highlighted the modern cloud service Google Colaboratory, which is recommended for teaching the basics of neural networks due to the presence of a pre-installation of the Tensorflow library and a library for working in Python, free access to graphics processors, the ability to write and execute program code in a browser, and no need for special configuration of the service. Examples of designing neural networks in the Colaboratory are considered. In particular, solving recognition problems and image classification, predictive modeling. The authors show that a convolutional neural network can be used for image recognition and classification, a feature of which is obtaining the image features a map with subsequent convolution. There are chunks of code for the connecting phases the necessary libraries, loading data sets, normalizing images, assembling a neural network, and its training, in the paper. The solving of the forecasting problem is considered on the example of a feed-forward neural network with an algorithm for backpropagation of errors in the learning process, the essence of which is to obtain the expected value at the output layer when the corresponding data is fed to the input layer. Backpropagation of errors consists of adjusting the weights that give the greatest correlation between the input dataset and its corresponding result.

Такое возможно благодаря применению математических матриц. Они представляют собой таблицы, состоящие из строк и столбцов, на пересечении которых находятся числа – элементы матрицы. Для простоты создадим модель одного нейрона, имеющего три источника информации и один выход. Цель – обучить нейронную сеть решать задачу, представленную ниже на изображении. Тренировочным набором будут примеры с первого по четвертый.

Рассмотрим пример создания спам-детектора. Вы можете создать его, основываясь на интуиции и вручную подбирая правила его работы. Например, «содержит слово подарок» или «имеет слово деньги». Такая система может функционировать. Однако подобрать верные шаблоны и создать успешно работающий детектор, основываясь лишь на интуиции, очень сложно.

Нейронная сеть как подотрасль машинного обучения

Исследовательские проекты. Большое число готовых примеров нейронных сетей на Python – это исследовательские проекты. При этом ученые, работающие над ними, чаще всего программистами не являются. Этот язык имеет низкий порог входа: никто не занимается написанием нейронных сетей на Python с нуля, так как это занимает много времени. Существуют библиотеки для нейронных сетей Python, которые уже написали специалисты. Так вокруг Питон сложилось целое сообщество по нейросетям. Если вы занимаетесь исследовательской деятельностью, то следуйте в этом вопросе примеру других.

Производительность в определенной задаче улучшается не средствами программирования, а за счет данных. Например то, как успешно удается почтовому сервису отсеивать спам или как продвинулись системы распознавания речи с появлением голосовых помощников Алиса, Siri, Alexa и других.

Проведен анализ различных программных сред, которые могут быть использованы на лабораторных и практических занятиях по изучению и применению нейронных сетей. Выделен современный облачный сервис Google Colaboratory, рекомендуемый для обучения основам нейронных сетей благодаря наличию в нем предустановки библиотеки Tensorflow и библиотеки для работы на языке Python, бесплатного доступа к графическим процессорам, возможности написания и выполнения програм -много кода в браузере, а также отсутствию необходимости специальной настройки сервиса.

но). Слой пулинга представляет собой нелинейное уплотнение карты признаков, при котором группа пикселей уплотняется до одного пикселя, проходя нелинейное преобразование. Полносвязный слой выполняет нелинейные преобразования извлеченных признаков и собственно реализует классификацию. Для решения проблемы переобучения используется метод Dropout(0.2), где 0.2 — доля нейронов, случайно выключаемых из процесса обучения.

Помимо того, что в Colaboratory можно писать и выполнять код Python в браузере, не требуется настройка сервиса, имеется бесплатный доступ к графическим процессорам и документам других пользователей. Все это делает облачный сервис Colaboratory доступным решением для обучения студентов основам нейронных сетей.

Распространенными задачами, для решения которых привлекаются нейронные сети, являются: классификация — разделение данных по значимым признакам, прогнозирование — предсказывание следующего шага, распознавание -анализ изображения (объекта) с дальнейшей классификацией [4, 5].

Курс от GeekBrains для освоения Python и последующей работы с нейросетями

В последние годы методы глубинного обучения — нейронные сети — позволили достичь впечатляющих успехов в таких областях, как компьютерное зрение, обработка естественного языка, обработка аудио [1, 2]. Нейронные сети используются для решения сложных задач, которые требуют аналитических вычислений, подобных выполняемым человеческим мозгом. Бытует мнение, что нет таких задач, с которыми не может справиться нейронная сеть, только было бы достаточно примеров для ее обучения [3].

После обучения нейронная сеть будет выдавать числовые результаты, по значениям которых осуществляется классификация: если результат значительно больше 1, то высока уверенность в определении метки класса «собаки», если результат намного меньше 0, то изображению присваивается метка класса «кошки» (рис. 2).

Очевидно, что изучение принципов функционирования нейронных сетей и их применения для решения тех или иных задач возможно только через практику. В статье дан анализ различных программных сред, которые могут быть использованы на лабораторных и практических занятиях по изучению и применению нейронных сетей.

Наиболее распространенным языком программирования для искусственных нейросетей является Python. Почему именно нейронные сети на Python получили такую популярность, несмотря на наличие множества других языков программирования? IT-специалисты часто сходятся во мнении, отвечая на этот вопрос, и выделают несколько причин.

Исследователи из Лаборатории обработки данных (DLAB) факультета компьютерных наук и коммуникаций Федеральной политехнической школы Лозанны (EPFL) изучили LLM Llama-2 с открытым исходным кодом, чтобы попытаться определить, какие языки использовались на разных этапах всей цепочки. Ученые задались вопросом, используют ли многоязычные языковые модели английский в качестве внутреннего опорного языка — это ключевой вопрос для понимания того, как функционируют языковые модели.

Рассматриваются примеры проектирования нейронных сетей в Colaboratory, в частности, решение задач распознавания и классификации изображений, прогнозирования. Показано, что для распознавания и классификации изображений может быть использована сверточная нейронная сеть, особенностью которой является получение карты признаков изображения с последующей сверткой. Приведены фрагменты программного кода для этапов подключения необходимых библиотек, загрузки датасетов, нормализации изображений, сборки нейронной сети и ее обучения.

Лаконичность и интероперабельность. Язык позволяет разрабатывать сложные алгоритмы за короткое время. Его отличают простота, лаконичность и выразительность. Помимо этого он обладает мощным механизмом интероперабельности с C\C++, что позволяет производить быстрые вычисления. Можно создавать простые и сложные нейронные сети на Python.

Поскольку нейронная сеть работает с изображениями, необходимо загрузить датасет для ее обучения. Представим пример загрузки Microsoft датасет с разными изображениями кошек и собак, объем датасета — 25 000 изображений, в описании датасета указано, что 1 700 картинок из 25 000 поврежденные, но TensorFlow умеет их фильтровать: