Нейронные сети

Какие ограничения есть у нейросетей

Люди с творческими профессиями и помогающими специальностями, например психологи, детские воспитатели, учителя и консультанты, имеют больше шансов сохранить работу. Искусственный интеллект еще не скоро сможет заменить человеческий опыт. По мнению Яна Лекуна, современным нейронным сетям не хватает разума. «Когда дело доходит до создания действительно умных машин, способных разрабатывать стратегии и хорошо разбираться в мире, у нас даже нет ингредиентов для рецепта», — жалуются ученые-коллеги Яна Лекуна.

Аналогично чтобы построить автомобиль, который может ездить самостоятельно, сначала нужно собрать данные от опытного водителя. Для этого каждую долю секунды надо записывают положение автомобиля на дороге и то, как водитель поворачивает руль, чтобы машина оставалась в пределах полосы. В результате за час наблюдений ученые получают 36 000 положений автомобиля и углов поворота руля. На этой информации нейросеть потом учится.

Искусственные нейронные сети окружают нас повсюду: Алиса расскажет погоду на день, навигатор построит быстрый маршрут до работы, а умная лента покажет подборку новостей по интересам. Благодаря нейросетям любой желающий может почувствовать себя большим художником или писателем, даже если не умеет рисовать и красиво выражать мысли. Тем не менее для многих они по-прежнему остаются загадкой. Как и словосочетание Big Data, о котором мы уже как-то рассказывали.

Но разработки в этом направлении ведутся — правда, пока такие проекты находятся на стадии исследований. И даже с небольшим по сравнению с мозгом количеством нейронов нейросети могут достигать поразительных результатов в обучении. Некоторые даже проходят тест Тьюринга, но с оговоркой: сознания у них нет, просто они хорошо научились имитировать его наличие. Иногда даже человек не всегда способен распознать в своем собеседнике нейронную сеть.

Перцептроны — Это классические нейронные сети, изначально однослойные, позже многослойные. Сейчас используются в основном для вычислений. Сверточные нейронные сети — Это многослойные сети, которые состоят из чередующихся сверточных и субдискретизирующих слоев и предназначены специально для работы с изображениями. Рекуррентные нейронные сети Их особенность в возможности последовательно обрабатывать цепочки данных и «запоминать» предыдущую информацию. Поэтому их применяют для работы с изменяющимися сведениями или длинными цепочками данных, например рукописными текстами. Генеративные нейронные сети Предназначены для создания контента. Иногда используются генеративно-состязательные нейросети — связка из двух сетей, где одна создает контент, а другая оценивает его качество.

Как и человек, нейросеть учится за счет изменения связей между нейронами. Проще всего отследить этот процесс на примере моллюска аплизии. У него очень простая нервная система, которая управляет внешними жабрами. Если прикоснуться к жабрам, то моллюск сначала их втянет, а потом спустя время выпустит. Если повторять касания жабр из раза в раз, постепенно моллюск начнет выпускать их быстрее, а потом и вовсе перестанет втягивать. Так нейронные связи адаптируются к внешним раздражителям, то есть обучаются.

Искусственная нейронная сеть — не модель человеческого мозга: даже самые мощные из существующих сетей не могут достигнуть таких мощностей и подобного количества нейронов. В человеческом мозгу огромное количество нервных клеток — десятки миллиардов. В искусственных нейросетях намного меньше нейронов. Для создания нейронной сети, по возможностям равной человеческому мозгу, сейчас нет мощностей.

Рекуррентные нейронные сети (Recurrent neural network, RNN). Используют направленную последовательность связи между узлами. В RNN результат вычислений на каждом этапе используется в качестве исходных данных для следующего. Благодаря этому, рекуррентные нейронные сети могут обрабатывать серии событий во времени или последовательности для получения результата вычислений.

Где применяют нейросети и кто с ними работает

В последние годы с развитием нейронных сетей их стали использовать в том числе в SMM. Уже сейчас есть блоги, где изображения и другой контент частично генерируются нейросетями. Применяют их и в развлекательных целях: различные сервисы «перерисовывают» лица людей, делают из них картины, персонажей мультфильмов, вставляют лица в отрывки из кино. Все это возможно благодаря машинному обучению и нейросетям.

Благодаря нейросетям, машинные переводы теперь не уступают тем, которые сделаны человеком, а иногда и превосходят его. В 2019 году в конкурсе GLUE (General Language Understanding Evaluation), который проверяет понимание языка, человек оказался только на четвертом месте. В тройку лидеров вошли RoBERTa от Facebook (признана экстремистской организацией и запрещена на территории РФ. — Прим. ред.), XLNet от Google и MT-DNN от Microsoft.

В основе искусственной нейронной сети лежит устройство нервной ткани человека. Она состоит из нервных клеток, связанных между собой длинными отростками. В клетках происходят нервные импульсы, они передаются по отросткам в другие клетки. Таким образом нервная ткань обрабатывает или генерирует информацию. Сами импульсы очень сложно расшифровать: это не понятные человеку данные, а набор слабых электрических токов, которые нейроны воспринимают как информацию.

Примечание: При такой модели обучение нейронной сети сводится к изменению коэффициенту весов, то есть связи между отдельными нейронами. Если вес положительный — сигнал в нейроне усиливается, нулевой — нейроны не влияют друг на друга, отрицательный — сигнал в принимающем нейроне погашается.

Для эффективного обучения нужно много повторений. Иначе нейронная сеть будет работать неточно — ведь входные данные могут серьезно различаться, а она окажется натренирована только на один возможный вариант. Поэтому обучение проводится в несколько итераций и эпох.

Специалисты Института трансляционной аналитики данных (TDAI) в Университете штата Огайо разработали платформу Wildbook, которая помогает исследователям и защитникам природы находить и сохранять редкие виды животных. Чтобы это стало возможным, ученые обучили нейронные сети распознавать изображения тех, кому угрожает опасность. Машина видит фотографию кита, косатки или леопарда и узнает животное, опираясь на текстуру и окраску его шерсти, линию плавника или хвоста. Система обучается с помощью образцов, помеченных вручную.

Нейросеть — аналог мозга?

В своей книге «Как учится машина. Революция в области нейронных сетей и глубокого обучения» Ян Лекун рассказывает, как работают нейросети и где применяются. Автор — лауреат премии Тьюринга, аналога Нобелевской премии в области вычислительной техники. Его называют крестным отцом нейронных сетей. Обзор будет полезен тем, кто пользуется достижениями нейросетей и хочет узнать о них больше, не погружаясь в сложные технические подробности.

Обучение не так просто, как кажется. В нейронных сетях есть эффект переобучения: если тренировочных сетов слишком много и они слишком разные, нейросеть «теряется» и перестает эффективно выделять признаки. В результате она может, например, воспринять артефакт графики как чье-то лицо или перепутать мужчину с женщиной. Это происходит из-за размытия весов. И это не единственная ошибка, просто самая известная.

Веса. Веса — числовые значения внутри синапсов нейронов. Нейросеть подсчитывает их самостоятельно в ходе обучения. Когда нейронная сеть сталкивается в ходе обучения с каким-то признаком, который нужно запомнить, она пересчитывает веса. При этом доподлинно неизвестно, какие именно числовые значения отвечают за те или иные признаки — и как именно признаки в них преобразуются.

Попробуйте угадать, где поработала нейросеть, а где человек! Мы придумали короткий тест, в котором предлагаем вам сравнить результаты и проверить свое чутье. В конце вас ждут несколько советов, как можно отличить авторскую работу от машинной. Для теста мы использовали сервисы Балабоба и MidJourney, за что безмерно признательны их разработчикам.

Чтобы обучить нейронную сеть различать изображения, сотрудники Google собрали миллионы картинок и пометили их вручную. Когда Google, чтобы отсеять ботов, в следующий раз попросит вас «щелкнуть каждое изображение, содержащее стрекозу» и вы это сделаете, знайте, что вы тоже внесете вклад в обучение нейросетей. В среде айтишников даже ходит такая шутка: когда роботы научатся ставить галочку в капчах и проходить этот квест, тогда и начнется восстание машин.

Нейронные сети используются почти во всех голосовых приложениях. При этом они научились распознавать речь не только взрослых, но и детей, у которых она не всегда внятная, а также людей с акцентами и необычными голосами. Но недостаточно просто расшифровать звук — виртуальный помощник должен еще правильно понять его смысл. Для Алексы, например, инженеры Amazon определили около 80 различных намерений: позвонить кому-нибудь, воспроизвести музыку, дать информацию о пробках на дороге, выбрать радиостанцию. Как только помощник распознает намерение, сервер Amazon сможет выполнить запрошенную задачу.

Процесс обучения бывает ручным и автоматическим и выглядит обычно так. Нейросети дают на вход разные данные, она анализирует их, а потом ей сообщают, каким должен быть правильный ответ. Сеть устроена так, что будет «стремиться» подогнать веса синапсов, чтобы выдавать верные результаты.

Например, чтобы научить машину отличать корабли от самолетов, нужно сначала собрать тысячи фотографий тех и других и загрузить их в нейросеть. Затем показать ей изображение корабля. Если машина дает правильный ответ — ничего менять не нужно. Если машина дает неверный ответ, то необходимо настроить параметры системы так, чтобы ее ответ приблизился к правильному.