С учителем и без него: как обучаются нейросети

В чем заключается важность нейронных сетей?

Искусственные нейронные сети окружают нас повсюду: Алиса расскажет погоду на день, навигатор построит быстрый маршрут до работы, а умная лента покажет подборку новостей по интересам. Благодаря нейросетям любой желающий может почувствовать себя большим художником или писателем, даже если не умеет рисовать и красиво выражать мысли. Тем не менее для многих они по-прежнему остаются загадкой. Как и словосочетание Big Data, о котором мы уже как-то рассказывали.

Первую обучающуюся машину создал в 1957 году американский психолог Фрэнк Розенблатт в авиационной лаборатории Корнеллского университета в Буффало, США. Ученый вдохновился работой нейронов в человеческом мозге и по аналогии сделал искусственную нейросеть, которую назвал перцептрон.

Для того чтобы обучение с подкреплением было результативно, важно пройти много предварительных тренировок. Долгий период развития навыков модели и необходимость большого количества примеров называют главными минусами этого формата. Если в будущей работе нейросеть столкнется с незнакомой ситуацией, то реакция будет непредсказуема.

Отсутствие контроля человека при тренировке моделей увеличивает вероятность ошибок. Самостоятельный анализ данных может привести к неверному объединению или группировке по тем признакам, которые не важны для человека. Кроме того, подобная подготовка требует большего количества времени и информации — ведь для того, чтобы без подсказок учителя сделать верные выводы, нужно проанализировать больший объем информации, чем с ними.

Благодаря нейросетям, машинные переводы теперь не уступают тем, которые сделаны человеком, а иногда и превосходят его. В 2019 году в конкурсе GLUE (General Language Understanding Evaluation), который проверяет понимание языка, человек оказался только на четвертом месте. В тройку лидеров вошли RoBERTa от Facebook (признана экстремистской организацией и запрещена на территории РФ. — Прим. ред.), XLNet от Google и MT-DNN от Microsoft.

Обучение с учителем используется для нейросетей , которые в дальнейшем будут решать задачи классификации: получать на входной слой большой объем данных и разделять информацию по заданным категориям. Этот механизм лежит в основе разных функций: модель может в будущем специализироваться и на генерации текста или продолжении предложений (нейронная сеть LSTM), и на идентификации и классификации картинок (сверточная нейронная сеть CNN). Кроме того, обучение с учителем позволяет модели успешно работать с прогнозами: оценивать динамику спроса на товар и менять цену и другие количественные характеристики для максимизации выручки или строить прогноз на бирже.

Машинное обучение и глубокое обучение

Нейронная сеть – это метод в искусственном интеллекте (ИИ), который учит компьютеры обрабатывать данные таким же способом, как и человеческий мозг. Это тип процесса машинного обучения, называемый глубоким обучением, который использует взаимосвязанные узлы или нейроны в слоистой структуре, напоминающей человеческий мозг. Он создает адаптивную систему, с помощью которой компьютеры учатся на своих ошибках и постоянно совершенствуются. Таким образом, искусственные нейронные сети пытаются решать сложные задачи, такие как резюмирование документов или распознавание лиц, с более высокой точностью.

Современные нейросети с легкостью и за считанные секунды анализируют художественный текст, создают изображения, поддерживают живой диалог, пишут программный код и многое другое по запросу пользователя. Однако для того, чтобы эти действия правильно и быстро выполнялись, нейронная сеть проходит трудоемкое обучение, вне зависимости от размера входной задачи и количества нейронов в сети. Для результативной работы модели в будущем необходимо заранее подготовить наборы обучающих данных, рассчитать возможные отклонения от точных решений и подобрать весовые коэффициенты для каждого из нейронов.

Нейронные сети используются почти во всех голосовых приложениях. При этом они научились распознавать речь не только взрослых, но и детей, у которых она не всегда внятная, а также людей с акцентами и необычными голосами. Но недостаточно просто расшифровать звук — виртуальный помощник должен еще правильно понять его смысл. Для Алексы, например, инженеры Amazon определили около 80 различных намерений: позвонить кому-нибудь, воспроизвести музыку, дать информацию о пробках на дороге, выбрать радиостанцию. Как только помощник распознает намерение, сервер Amazon сможет выполнить запрошенную задачу.

Люди с творческими профессиями и помогающими специальностями, например психологи, детские воспитатели, учителя и консультанты, имеют больше шансов сохранить работу. Искусственный интеллект еще не скоро сможет заменить человеческий опыт. По мнению Яна Лекуна, современным нейронным сетям не хватает разума. «Когда дело доходит до создания действительно умных машин, способных разрабатывать стратегии и хорошо разбираться в мире, у нас даже нет ингредиентов для рецепта», — жалуются ученые-коллеги Яна Лекуна.

Нейронные сети могут анализировать человеческую речь независимо от ее речевых моделей, высоты, тона, языка и акцента. Виртуальные помощники, такие как Amazon Alexa и программное обеспечение для автоматической транскрипции, используют распознавание речи для выполнения следующих задач:

Тренировочный набор данных для этого типа обучения важно разметить, то есть каждому примеру сопоставить результат, который модель должна получить. Для этого над входным датасетом следует предварительно поработать: учитель собирает его заранее, просматривает и размечает в понятном для обработки виде.

Нейросети могут прогнозировать спрос на разные продукты и предсказывать изменение цен акций. Например, они помогают французской государственной энергетической компании EDF прогнозировать потребление энергии. С этими знаниями компания эффективнее управляет производительностью электростанций и распределяет ресурсы с минимальными потерями. В маркетинге нейросети используются для изучения интереса людей к тому или иному контенту:к примеру, подскажут, на какой рекламный баннер будут реагировать чаще.

При этом обучение с подкреплением рассчитано не только на успешное прохождение игр. Нейросети , подготовленные к самостоятельной работе таким способом, могут в дальнейшем управлять транспортом в качестве автопилота или выступать техподдержкой, получая положительную обратную связь за каждый верно решенный запрос.

Три типа обучения нейронных сетей

Метод обучения с учителем ( supervised learning) аналогичен получению знаний в школе, где нейросеть выступает в качестве ученика, а человек — в роли преподавателя. Роль учителя заключается в том, чтобы подать на вход модели исходные данные и их «расшифровку » . По аналогии с математическими задачами это будет «вопрос » и «правильный «ответ » (метка). Например, при обучении задаче классификации изображений каждой отдельной картинке будет присвоена метка, означающая класс изображения (например, кошка или собака на фото). Так происходит настройка параметров для минимизации ошибок между собственными предположениями и « правильными ответами» (метками). Сопоставляя их из раза в раз, нейронная сеть б удет самос тоятельно обучаться отвечать и на последующие запросы правильно уже без помощи человека.

Попробуйте угадать, где поработала нейросеть, а где человек! Мы придумали короткий тест, в котором предлагаем вам сравнить результаты и проверить свое чутье. В конце вас ждут несколько советов, как можно отличить авторскую работу от машинной. Для теста мы использовали сервисы Балабоба и MidJourney, за что безмерно признательны их разработчикам.

Нейронные сети прямого распространения обрабатывают данные в одном направлении, от входного узла к выходному узлу. Каждый узел одного слоя связан с каждым узлом следующего слоя. Нейронные сети прямого распространения используют процесс обратной связи для улучшения прогнозов с течением времени.

Скрытые слои в сверточных нейронных сетях выполняют определенные математические функции (например, суммирование или фильтрацию), называемые свертками. Они очень полезны для классификации изображений, поскольку могут извлекать из них соответствующие признаки, полезные для распознавания и классификации. Новую форму легче обрабатывать без потери функций, которые имеют решающее значение для правильного предположения. Каждый скрытый слой извлекает и обрабатывает различные характеристики изображения: границы, цвет и глубину.

Машинное зрение — это способность компьютеров извлекать информацию и смысл из изображений и видео. С помощью нейронных сетей компьютеры могут различать и распознавать изображения так, как это делают люди. Машинное зрение применяется в нескольких областях, например:

В своей книге «Как учится машина. Революция в области нейронных сетей и глубокого обучения» Ян Лекун рассказывает, как работают нейросети и где применяются. Автор — лауреат премии Тьюринга, аналога Нобелевской премии в области вычислительной техники. Его называют крестным отцом нейронных сетей. Обзор будет полезен тем, кто пользуется достижениями нейросетей и хочет узнать о них больше, не погружаясь в сложные технические подробности.