Пишем нейросеть на Python с нуля

Пример расчета потерь

Проекты в области искусственного интеллекта сейчас выходят на новый уровень. Мы это можем понять по распространению техники, в основе которой они лежат: личные помощники (в том числе умные колонки), спам-фильтры, системы поимки мошенников, поисковики, рекомендательные системы и многое другое.

За это у нас отвечают методы model.add и функция Dense. Ее параметры, которые мы здесь прописали надо понимать так: слой с 10 нейронами, в который на вход передается 1 число и второй слой — 1 нейрон, получающий 10 чисел. Зададим параметры того, как нейросеть будет обучаться.

Готовить наше «восстание машин» будем на браузерной платформе Google Collab. Ее плюс в том, что все библиотеки Python там уже добавлены. Вам нужно только прописать их подключение, и можно обращаться к фреймворкам, программируя прямо в браузере. Еще один довод «за» — возможность запускать код построчно, то есть передавать интерпретатору не весь скрипт, а только ту его часть, на результатах которой вы хотите сосредоточиться. Подключаем библиотеки оператором Import:

Термин «нейронные сети» сейчас можно услышать из каждого утюга, и многие верят, будто это что-то очень сложное. На самом деле нейронные сети совсем не такие сложные, как может показаться! Мы разберемся, как они работают, реализовав одну сеть с нуля на Python.

Теперь у нас есть все нужные инструменты для обучения нейронной сети! Мы используем алгоритм оптимизации под названием стохастический градиентный спуск (stochastic gradient descent), который определит, как мы будем изменять наши веса и пороги для минимизации потерь. Фактически, он заключается в следующей формуле обновления:

∂ L ∂ w 1 = ∂ L ∂ y p r e d ∗ ∂ y p r e d ∂ h 1 ∗ ∂ h 1 ∂ w 1 ∂ L ∂ y p r e d = − 2 ( 1 − y p r e d ) = − 2 ( 1 − 0.524 ) = − 0.952 ∂ y p r e d ∂ h 1 = w 5 ∗ f ′ ( w 5 h 1 + w 6 h 2 + b 3 ) = 1 ∗ f ′ ( 0.0474 + 0.0474 + 0 ) = f ( 0.948 ) ( 1 − f ( 0.948 ) ) = 0.249 ∂ h 1 ∂ w 1 = x 1 ∗ f ′ ( w 1 x 1 + w 2 x 2 + b 1 ) = − 2 ∗ f ′ ( − 2 + ( − 1 ) + 0 ) = − 2 ∗ f ( − 3 ) ∗ ( 1 − f ( − 3 ) ) = − 0.0904 ∂ L ∂ w 1 = − 0.952 ∗ 0.249 ∗ − 0.0904 = 0.0214

Пишем код нейронной сети

Вы знали, что разработчики нейросети LaMDA в 2022 году заявили о появлении у их детища сознания? А ChatGPT стал самым быстрорастущим сервисом в истории. К слову, сам ChatGPT является примером того, как создать нейросеть на Python, потому что он написан именно на этом языке программирования.

Специалисты, занимающиеся технологическим прогнозированием, называют ИИ (artificial intellect) одной из четырех технологий, которые в ближайшее время приведут к формированию «нового экономического уклада» и перевернут нашу жизнь сильнее, чем она изменилась с начала 50-х годов XX века, при первой научно-технической революции.

Этот язык программирования стремительно развивается и по данным наиболее авторитетного рейтинга языков TIOBE на апрель 2023 года, является самым востребованным в мире. Не в последнюю очередь его положение связано с тем, что сообщество разработчиков глубоко усовершенствовали его, чтобы он лучше других подходил для машинного обучения и создания нейросетей.

На Python создают прикладные приложения, пишут тесты и бэкенд веб-приложений, автоматизируют задачи в системном администрировании, его используют в нейронных сетях и анализе больших данных. Язык можно изучить самостоятельно, но на это придется потратить немало времени. Если вы хотите быстро понять основы программирования на Python, обратите внимание на онлайн-курс «Библиотеки программиста». За 30 уроков (15 теоретических и 15 практических занятий) под руководством практикующих экспертов вы не только изучите основы синтаксиса, но и освоите две интегрированные среды разработки (PyCharm и Jupyter Notebook), работу со словарями, парсинг веб-страниц, создание ботов для Telegram и Instagram, тестирование кода и даже анализ данных. Чтобы процесс обучения стал более интересным и комфортным, студенты получат от нас обратную связь. Кураторы и преподаватели курса ответят на все вопросы по теме лекций и практических занятий.

Нейронная сеть может иметь любое количество слоев, и в этих слоях может быть любое количество нейронов. Основная идея остается той же: передавайте входные данные по нейронам сети, пока не получите выходные значения. Для простоты мы будем использовать сеть, показанную выше, до конца статьи.

Две эти IT-дисциплины сегодня реализуют концепцию ИИ. Задачи в этих сферах, которые на Java или других языках могут потребовать сотни строк кода, на Python решаются несколькими командами. Это происходит за счет отличного набора библиотек к Python: Keras, Scikit-learn, TensorFlow, NumPy, Pandas. Изучение языка Python не представляет никакой сложности. Дочитайте статью до конца и вы создадите свой первый ИИ, точнее, нейросеть, которая будет возводить в степень любое заданное число.