Содержание статьи
Почему Python стал главным языком для ИИ и как применять такие технологии в своих проектах
Читайте «Хайтек» в
В статье Олег Булыгин, внешний консультант в области Data Science, аналитики и разработки и преподаватель «Нетологии» на курсах «Python-разработчик с нуля», рассказывает, почему самым популярным языком для программирования ИИ стал Python и какие инструменты на основе машинного обучения и нейросетей может использовать любая компания.
- В этом нет смысла, так как для подобных задач, зачастую, уже есть различные датасеты с подготовленными данными, которые можно использовать.
- У нас уйдет слишком много времени и сил на тренировку своей нейронной сети. Только представьте, нам потребуется найти и произвести обучение на тысячах фотографиях. Это не только очень сложно, но и дорого.
В одном из самых популярных каталогов программного обеспечения, написанного на Python, PyPI сейчас насчитывается более 400 проектов. Среди них, например, есть и такие, которые значительно упрощают и ускоряют сложные вычисления, разработку алгоритмов ML и работу с данными:
По данным ICT.Moscow, каждый второй представитель среднего бизнеса и 40% компаний малого бизнеса используют программы на базе AI для автоматизации разнообразных задач. Например, российский сервис Directum RX помогает классифицировать входящие электронные письма и документы по типам, чтобы снизить время их обработки, а другая отечественная RPA Sherpa проверяет контрагентов перед заключением договора.
Colab полностью бесплатен и позволяет выполнять код блоками. К примеру, мы можем выполнить блок кода, где у нас идет обучение нейронки, а далее мы можем всегда выполнять не всю программу с начала и до конца, а лишь тот участок кода, где мы указываем новые данные для тестирования уже обученной нейронки.
В качестве примера можно привести систему обработки электронной почты. Для сбора статистики и последующего анализа данных нужно вести подсчет входящих писем, сортировать их по ключевым словам. Даже начинающему несложно написать простой скрипт, который сам выполнит эти действия.
Изучение программирования
Начнем с web-программирования. Python позволяет сделать весь backend интернет-ресурса. Напомню, что backend — это внутренняя составляющая интернет ресурса. Она представляет собой базу данных, хранящуюся на удаленном компьютере-сервере. По запросу пользователя информация из такой базы данных извлекается и поступает в браузер на его компьютере. И здесь полученная информация обрабатывается второй составляющей сайта — frontend.
По традиции, попутно поясню значение термина. Библиотека — это набор функций, которые позволяют решать некую конкретную задачу в программе. Библиотека избавляет программиста от многократного «изобретения велосипеда», то есть написания кода для рутинных, повторяющихся задач. Например, в Scikit-learn уже встроены самые распространенные алгоритмы обучения.
1. Самообучающиеся алгоритмы, которые позволяют использовать большие массивы данных без их предварительной подготовки (т.н. «разметки»). Такой подход наиболее актуален для задач, связанных с компьютерным зрением, например, когда нужно верифицировать ручные подписи или определить расстояние до объекта на видео, и задач обработки естественного языка, при которых на вход моделям подаются текстовые документы и далее с помощью ИИ могут прогнозироваться следующие предложения или автоматически определяться «токсичные» фразы.
Один и тот же код, написанный на Python, будет одинаково хорошо работать на различных операционных системах. Это существенно ускоряет процесс разработки, так как нет необходимости создавать отдельные версии под Windows, Linux, macOS и, соответственно, позже тестировать каждую из них.
Сегодня искусственный интеллект применяют 35% компаний, еще 42% — планируют внедрять его в будущем. Алгоритм ИИ задействуют везде, где необходима обработка больших данных: Google с его помощью анализирует поисковую выдачу, YouTube подбирает рекомендуемые видео, Tinder — потенциальных партнеров, а Coca-Cola использует ChatGPT и DALL-E для улучшения маркетинга, создания креативов и привлечения новых клиентов.
Еще одна область, где язык Python оказался востребованным – скрипты для автоматизации рутинных процессов. Скрипт — короткая программа, содержащая последовательность неких действий. Хороший пример скрипта — макросы в сервисе Google Sheets, о которых я уже рассказывал более подробно в одном из своих постов.
Разработчики, которые используют Python, объединяются в сообщества по всему миру, где обмениваются знаниями по разным направлением использования языка программирования, в том числе и в машинном обучении. Например, в MoscowPython регулярно проходят митапы, на которых программисты делятся своими кейсами и наработками.
Внешней сферой такого воображаемого кантонского шара будет искусственный интеллект. Каждая последующая технология в нашем перечне как бы вложена в предыдущую. Итак, машинное обучение — это подмножество искусственного интеллекта. Глубокое обучение — это часть машинного обучения, а нейронные сети — базис для алгоритмов глубокого обучения.
Какие библиотеки нам потребуются?
У исполнителя существует 6 команд: Поднять хвост, означающая переход к перемещению без рисования; Опустить хвост, означающая переход в режим рисования; Вперёд n (где n – целое число), вызывающая передвижение Черепахи на n единиц в том направлении, куда указывает её голова; Назад n (где n – целое число), вызывающая передвижение в противоположном голове направлении; Направо m (где m – целое число), вызывающая изменение направления движения на m градусов по часовой стрелке, Налево m (где m – целое число), вызывающая изменение направления движения на m градусов против часовой стрелки.
О том, какую роль играет язык Python в развитии искусственного интеллекта говорит следующий факт. По данным Google Trends, в 2016 г. Отмечен резкий скачок интереса к тематике машинного обучения во всем мире и, собственно, к языку Python. Этот феномен проявился через год после выпуска библиотеки для машинного обучения TensorFlow.
2. Нейроморфные вычисления позволят точнее моделировать работу человеческого мозга с помощью создания большего числа искусственных нейронов в одной сети. Например, уже сейчас в рамках проекта OpenWorm разработали копию нервной системы круглого червя Caenorhabditis elegans, состоящей из 302 нейронов. Благодаря этому можно будет повысить точность продуктов на базе ИИ и оптимизировать их производительность.
В отличие от открытых решений на базе машинного обучения и нейросетей, таких как ChatGPT и Midjourney, разработать и внедрить технологии искусственного интеллекта способны только разработчики с определенным техническим бэкграундом. Таких специалистов, например, обучают в Нетологии на курсе «Data Scientist». Помимо Python, они должны знать:
Большинство корпоративных решений на базе искусственного интеллекта — внутренние дорогостоящие разработки, для создания которых необходима команда IT-специалистов и менеджеров. Например, в банках AI используют в кредитных продуктах для скоринга: благодаря этому можно автоматически принять решение по выдаче кредита. Внедряют такие инструменты и на производстве, например, в BMW ИИ используют, чтобы оценить изображения компонентов и выявить в них отклонения от стандарта в режиме реального времени.
Исполнитель Черепаха действует на плоскости с декартовой системой координат. В начальный момент Черепаха находится в начале координат, её голова направлена вдоль положительного направления оси ординат, хвост опущен. При опущенном хвосте Черепаха оставляет на поле след в виде линии. В каждый конкретный момент известно положение исполнителя и направление его движения.
Это набор технологий, который позволяет при помощи нейросетей обрабатывать визуальную информацию с камер. Благодаря машинному зрению можно распознавать штрих-коды, текст, изображения, в т.ч. людей, а также конкретно их лица и движения. Например, биометрическая система позволяет верифицировать личность для доступа в офис или для оплаты товаров и услуг, а в «Пятерочке» ее применяют для «узнавания» постоянных клиентов, чтобы автоматически предлагать им скидки, и для выявления серийных магазинных воров. С помощью системы распознавания жестов же можно взмахом руки попросить переключить музыку или изменить громкость трека. Так, Google внедрила ее в мобильные устройства и умные колонки, а Huawei — в свой флагманский смартфон.
Выше я уже сказал, что одна из областей, где этот язык программирования очень востребован — это машинное обучение. Чтобы понятнее стали взаимоотношения этой технологии и искусственного интеллекта приведу аналогию из моего поста, посвященного непосредственно машинному обучению и нейронным сетям.
