Что такое глубокие нейросети и как они помогают изучать человеческий мозг

В Стэнфорде Яминс занимается изучением расхождений в работе нейросетей и функционировании мозга. Нейросети часто нуждаются в большом количестве аннотированных данных для обучения, в то время как мозгу бывает достаточно лишь одного примера.

Прежде чем приступить к разработке компьютерной модели, имитирующей этот процесс, Янг и его коллеги создали набор данных, имитирующих запахи. Нейроны реагируют на запахи иначе, чем на изображения. Если наложить друг на друга два изображения котов, результат может оказаться совсем не похожим на кота. Но если смешать запахи двух яблок, в итоге всё равно получится яблочный запах.

Между уровнем на входе и уровнем на выходе есть скрытые уровни. Здесь и проявляется различие между нейронными сетями и глубоким обучением. В базовых нейронных сетях может существовать один-два скрытых уровня, а в глубоком обучении таких уровней десятки, а иногда и сотни. С увеличением количества разных уровней и узлов повышается точность сети. Однако при увеличении количества уровней также требуется больше параметров и вычислительных ресурсов.

Глубокое обучение (англ. deep learning) — совокупность широкого семейства методов машинного обучения, основанных на имитации работы человеческого мозга в процессе обработки данных и создания паттернов, используемых для принятия решений [1] . Как правило, глубокое обучение предназначено для работы с большими объемами данных и использует сложные алгоритмы для обучения модели [2] . На больших датасетах глубокое обучение показывает более высокую точность результатов в сравнении с традиционным машинным обучением. Зависимость производительности (качества результатов) от объема данных представлена на рисунке ниже.

Машины пока еще могут учиться работать только в одном узком направлении, и эта особенность может приводить к ошибкам. Сетям глубокого обучения нужны данные для решения одной конкретной задачи. Если им придется выйти за рамки этой задачи, они, скорее всего, начнут ошибаться.

Сначала они создали компьютерную модель ушной улитки — части внутреннего уха, отвечающей за восприятие и распознавание звуков, — которая должна была обрабатывать звук и распределять его по каналам разной частоты. СНС обучили распознавать слова на аудиозаписи и отличать музыку от фонового шума. Команда пыталась создать архитектуру глубокой нейросети, которая бы успешно выполняла обе задачи и при этом не требовала значительных ресурсов.

Глубокие нейросети можно обучить находить закономерности в данных, например идентифицировать изображения котов и собак. Обучение осуществляется при помощи алгоритма, который регулирует связи между перцептронами так, чтобы распознать в определенных входящих данных (пикселях изображения) объект (кота или собаку). Обученная глубокая нейросеть может категоризировать изображения, которые никогда раньше не видела.

Учебный курс

Команда испытала свою модель, проверив ее прогнозы касательно активности в нижней височной коре макак-резусов. Ученые показали макакам 175 картинок, изображающих 25 людей в семи разных позах, и зарегистрировали активность участков мозга, отвечающих за распознавание лиц. Затем они показали те же изображения глубокой сети, в которой искусственные нейроны первого слоя активировались, когда демонстрировалось двухмерное изображение, а нейроны последнего слоя — когда трехмерное. Оказалось, что последние три слоя нейросети полностью соответствуют последним трем слоям системы распознавания лиц у макак.

Одно из главных преимуществ глубокого обучения состоит в том, что его нейронные сети умеют находить в данных скрытые закономерности и связи, которые ранее были неочевидны. Используя более надежные модели машинного обучения для анализа больших объемов сложных данных, компании могут быстрее и точнее выявлять случаи мошенничества, управлять цепочками поставок и кибербезопасностью, используя следующие возможности:

Работу глубокого обучения обеспечивают уровни нейронных сетей, которые представляют собой алгоритмы, действующие примерно так же, как человеческий мозг. Обучение на больших объемах данных позволяет настроить нейроны в нейронной сети. В результате образуется модель глубокого обучения, которая после окончания обучения способна обрабатывать новые данные. Модели глубокого обучения получают информацию из множества источников и анализируют эти данные в режиме реального времени без вмешательства человека. При глубоком обучении графические процессоры (GPU) оптимизируются для моделей обучения, потому что они могут одновременно обрабатывать множественные вычисления.

Макдермотт считает, что последние исследования с применением глубоких нейросетей потенциально могут помочь в решении проблем, связанных с потерей слуха. В большинстве случаев глухота связана с повреждениями уха. Как следствие, слуховая система вынуждена адаптироваться к проблемам с входными данными. «Если бы у нас была точная модель слуховой системы, мы бы представляли, как можно улучшить слух», — говорит он.

Чтобы ответить на этот вопрос, они сначала сопоставили активность искусственных нейронов их СНС с процессами, происходящими в вентральной зрительной системе двух макак-резусов. Затем с помощью СНС смоделировали реакцию определенных участков мозга макак на изображения, которых те раньше не видели.

Вскоре после того, как он завершил работу над своей нейросетью, громко заявила о себе другая сверточная нейросеть AlexNet. Также созданная по принципу иерархической обработки информации и обученная на 1,2 миллиона аннотированных изображений, содержащих тысячу разных категорий объектов, в 2012 году на соревновании по распознаванию изображений AlexNet обошла всех своих соперников. Коэффициент ошибок AlexNet составил всего 15,3% (по сравнению с 26,2% у ее ближайшего конкурента). Благодаря победе AlexNet глубокие нейросети стали конкурентоспособными в области искусственного интеллекта и машинного обучения.

Затем, используя компьютерную модель, они сгенерировали изображения, которые, по их прогнозам, должны были вызвать очень высокую активность нейронов. В ходе одного такого эксперимента активность нервных узлов повысилась на 68% относительно обычного уровня; в ходе еще одного испытания демонстрируемые изображения вызывали повышение активности одного нейрона одновременно с понижением активности соседних нейронов.

Первый слой, отвечающий за обработку запахов, состоит из обонятельных сенсорных нейронов, каждый из которых содержит только один из 50 видов обонятельных рецепторов. Все сенсорные нейроны одного типа (в среднем около 10 штук) соединены с одним кластером нервных клеток, расположенным на следующем слое. Кластеры нервных клеток, в свою очередь, произвольным образом соединены с нейронами следующего слоя, который называется слоем Кеньона и состоит из примерно 2500 нейронов. Последний слой, состоящий из 20 нейронов, отвечает за реакцию на запах.

Применения

Для создания, обучения и развертывания моделей машинного обучения в высокопроизводительной облачной инфрастуктуре попробуйте Oracle Cloud Infrastructure Data Science. Специалисты по изучению данных смогут создавать и обучать модели машинного обучения гораздо быстрее, если будут использовать NVIDIA GPU в сеансах блокнотов. Они также смогут выбирать объемы вычислительных ресурсов и хранилища, необходимые для выполнения проекта любого типа, не беспокоясь о том, где взять эти ресурсы и как поддерживать работу инфраструктуры. Кроме того, OCI Data Science ускоряет создание моделей за счет оптимизации задач по изучению данных, таких как доступ к данным, выбор алгоритмов и описание моделей.

Используя глубокую нейросетевую модель слуховой системы, команда создала метамеры естественных аудиосигналов, которые активировали разные фрагменты нейросети так же, как аудиозаписи. Ученые предположили, что если нейросеть является точной моделью слуховой системы человека, то метамеры также должны звучать одинаково.

Глубокое обучение может сыграть важную роль в здравоохранении: анализировать тенденции и поведение, чтобы прогнозировать возможность заболевания у пациентов. Работники сферы здравоохранения могут использовать алгоритмы глубокого обучения, чтобы выбирать оптимальные методы осмотра и лечения для своих пациентов.

Oracle Cloud Infrastructure (OCI) предлагает лучшие по соотношению цены и качества вычислительные возможности для рабочих нагрузок с большим объемом данных, быстрое облачное хранилище и сети 100 Гбит/с с поддержкой RDMA, малым временем задержки и высокой пропускной способностью. OCI также предоставляет экземпляры вычислений на GPU для глубокого обучения, предлагает простые в развертывании образы и обеспечивает гибкость: возможность использовать рабочую станцию с одним GPU или кластер с шаблонами конфигурации нескольких GPU.

Аспирантка Дженелл Фэзер вместе с другими исследователями из лаборатории Макдермотта продемонстрировала ограничения нейросетей на примере метамеров — отличающихся сигналов, которые воспринимаются системой как идентичные. Два аудиометамера, например, имеют разную форму волны, но кажутся человеку одинаковыми.

Исследователи использовали знания о распознавании людей и мест, а также гипотезу о двух потоках обработки зрительной информации ( вентральный поток отвечает за обработку предметной информации, дорсальный — пространственной) для разработки компьютерной модели зрительной системы. У людей вентральный поток начинается с сетчатки и заканчивается в латеральном коленчатом теле — расположенной в таламусе структуры, которая играет роль ретрансляционной станции. Латеральное коленчатое тело связывается с первичной зрительной корой (V1), зонами V2 и V4 и в конечном итоге с нижней височной корой.

Глубокое обучение лежит в основе многих технологий искусственного интеллекта (ИИ), которые могут улучшить автоматизацию и аналитику. Большинство людей сталкиваются с глубоким обучением каждый день, когда ищут что-то в Интернете или пользуются своим мобильным телефоном. Глубокое обучение используется не только в многочисленных приложениях, но и для создания субтитров для видеороликов YouTube, в системах распознавания речи на телефонах и умных динамиках, для распознавания лиц на фотографиях, а также в автомобилях с автономным управлением. И по мере того, как исследователи и специалисты по изучению данных выполняют все более сложные проекты, используя возможности глубокого обучения, этот тип искусственного интеллекта будет занимать все более значимое место в нашей жизни.

Это согласуется с принципом работы зрительной системы человека. «Мы обнаружили, что в глубоких нейросетях, умеющих выполнять обе задачи, спонтанно происходило разделение функций обработки лиц и объектов», — говорит Добс, которая сейчас работает в Гиссенском университете имени Юстуса Либиха в Германии.