Нейронные сети

Генеративно-состязательные сети (GAN)

Сверточные нейросети. Архитектура сверточных нейронных сетей похожа на нейросети прямого распространения, но они обладают бо́льшим количеством слоев. Это позволяет учитывать свойства входных данных и реализовывать прямое распространение эффективнее, что подходит для обработки изображений. Структура тоже однонаправленная (данные проходят от входного слоя к выходу), и обратных связей тут нет. Сверточные нейросети напоминают зрительную кору, у которой есть простые клетки, реагирующие на попадание света под разным углом, и сложные клетки, реакция которых связана с активацией простых. Они входят в набор глубокого обучения (deep learning) и позволяют распознавать объекты, прогнозировать, классифицировать изображения, находить аномалии и выполнять другие подобные задачи.

Если алгоритм имеет структуру нейронной сети, он способен анализировать данные, запоминать результат и предсказывать исходы различных экспериментов (здесь экспериментом может быть любое действие, связанное с обработкой данных). о строению нейросети действительно напоминают человеческий мозг и работают по тем же принципам, что и он. Но напрямую сравнивать их бессмысленно: мозг устроен значительно сложнее.

К концу XX века алгоритмов стало больше, вычислительные машины научились делать более мощными и компактными, а кроме того, появились наборы данных для обучения. Желания ученых наконец стали осуществимы. Вскоре им удалось добиться успеха в распознавании речи, а затем и в области компьютерного зрения (подробнее об этом читайте в нашем материале «Смотри внимательно») — в 2012 году была опубликована знаковая статья, посвященная нейросети ImageNet и глубокому обучению.

На сегодняшний день основные сферы применения нейросетей — это прогнозирование, принятие решений, распознавание образов, оптимизация и анализ данных. Машинное обучение лежит в основе большинства систем распознавания и синтеза речи, а также распознавания и обработки изображений. Сфера применения уже не имеет значения: автоматически регулировать экспозицию в приложении камеры на смартфоне или искать браконьеров на фотографиях в Саяно-Шушенском заповеднике — алгоритму по большому счету все равно.

Используются нейросети и для решения более сложных задач. Например, сеть регрессионного типа, созданная в Центре компетенций НТИ «Искусственный интеллект», оптимизирует движение поездов. Алгоритм учитывает около 30 дополнительных параметров, в том числе наличие других поездов на пути, изменение скорости поезда из-за ландшафта и так далее.

Мы предлагаем готовые решения для работы с искусственным интеллектом, машинным обучением и нейронными сетями. Клиентам доступны платформа для совместной ML-разработки с ускорением до +1700 GPU Tesla v100 и A100 ML Space, инструменты для обработки языка ruGPT-3 & family и другие сервисы.

Все это довольно очевидные примеры, при этом каждый день многие из нас работают с нейросетями и даже не догадываются об этом. В Яндекс.Переводчик давно встроена нейросеть, которая обучается и совершенствует качество перевода, а в каждом современном смартфоне сейчас есть алгоритм, который дорабатывает изображение, полученное с камеры, и улучшает его. С помощью нейросетей также делают прогнозы погоды, распознают объекты на фотографиях и раскрашивают старые фильмы.

Примечание: Работа нейронной сети сравнима с действиями человека: сталкиваясь с незнакомым предметом, он узнает его свойства и делает выводы. Аналогичные процессы происходят в узлах нейросетей, когда решая определенную задачу, они используют полученный опыт для дальнейшего обучения.

Типы задач, которые решают нейронные сети

Примечание: При такой модели обучение нейронной сети сводится к изменению коэффициенту весов, то есть связи между отдельными нейронами. Если вес положительный — сигнал в нейроне усиливается, нулевой — нейроны не влияют друг на друга, отрицательный — сигнал в принимающем нейроне погашается.

На исследования в этой области также повлияли работы Алана Тьюринга и разработка фон Нейманом вычислительных машин. В дальнейшем изучение нейросетей развивалось в двух направлениях: одни ученые изучали биологические процессы, которые протекают в человеческом мозге, а другие начали создавать нейронные сети как часть искусственного интеллекта.

В середине XX века двое ученых, Уоррен Маккаллок и Уолтер Питтс, предположили, что нейроны в мозгу человека, если говорить просто, оперируют двоичными числами, как и компьютеры. Они создали конструкцию электронных аналогов нейронов и предсказали, что такая сеть сможет повторять работу мозга: обучаться, распознавать текст и изображения и многое другое. Их исследование, опубликованное в 1943 году, легло в основу работы «Логическое исчисление идей, относящихся к нервной активности». Ее можно считать точкой отсчета существования нейросетей — математических моделей, построенных по принципу организации и функционирования биологических нейронных сетей — нервных клеток живого организма.

Нейросети набирают популярность и то что раньше казалась им «не по плечу», сейчас стало реальностью. Они помогают решать сложные задачи, например, анализировать данные, создавать изображения не хуже дизайнеров, даже правильные запросы для других нейросетей писать могут. Но что такое нейросети, как они работают и почему так быстро развиваются? В этой статье мы рассмотрим основные виды нейросетей, их структуру и применение.

А теперь давай поговорим о рекуррентных нейронных сетях (RNN). Они подходят для обработки последовательных данных, где важен контекст, например, в обработке текстов или временных рядов. RNN применяются в задачах машинного перевода, распознавания речи и анализа временных рядов.

Несмотря на невозможность практической реализации, именно тогда были придуманы новые алгоритмы, в том числе сверточные и рекуррентные: сверточные используются для классификации изображений, а рекуррентные — для анализа текста и машинного перевода. В журналах того времени писали, что роботы вот-вот заменят человека, стартапы обещали небывалую прибыль бизнесу, но нейросети все равно считались идеей, которая работает только на бумаге.

Виды нейронных сетей

Рекуррентные нейронные сети (Recurrent neural network, RNN). Используют направленную последовательность связи между узлами. В RNN результат вычислений на каждом этапе используется в качестве исходных данных для следующего. Благодаря этому, рекуррентные нейронные сети могут обрабатывать серии событий во времени или последовательности для получения результата вычислений.

За последние 70 лет нейросети прошли путь от теории к практическому применению и сейчас используются там, где раньше никто даже не задумывался о цифровизации, — например, в сибирских заповедниках для контроля популяции животных, создания картин и даже написания книг. Исследователи, в свою очередь, имеют дело с более сложными задачами, такими как обработка естественных языков и видео. И чем закончится эта веха популярности нейросетей, мы можем только гадать.

Нейронная сеть — это последовательность нейронов, которые обрабатывают данные и обмениваются ими друг с другом. Связь между нейронами осуществляется благодаря синапсам, усиливающим или ослабляющим сигнал. В зависимости от параметров синапсов и характеристик нейронов на выходе можно получить результаты, схожие с тем, что может выдать человеческий мозг. Условно говоря, если человек может распознать, что на картинке изображен кот, то и правильно обученная нейросеть должна делать так же, с высоким уровнем точности.

Конечно, попытки создания обособленных нейронных сетей уже есть, но их полной автономии добиться не удалось. Может быть, она и не нужна: это откроет путь в будущее, где роботам будут не нужны люди. А это уже что-то на грани фантастики. В реальности предназначение ИИ заключается в том, чтобы помогать человеку — и технологии развиваются именно в этом направлении.

Трансформеры — это архитектура нейросетей, разработанная для обработки последовательностей данных, таких как текст. В отличие от RNN, трансформеры обрабатывают всю последовательность одновременно, используя механизм внимания для выделения значимых элементов. Это делает трансформеры более эффективными и позволяет обрабатывать большие объемы данных параллельно. Трансформеры нашли широкое применение в задачах обработки естественного языка, включая машинный перевод, ответ на вопросы и генерацию текста. Примером успешного применения трансформеров является модель GPT (Generative Pre-trained Transformer), разработанная OpenAI.

Нейросети можно категоризировать по-разному — например, на однослойные и многослойные, на нейросети прямого распространения и рекуррентные, на радиально-базисные, а также по типу обучения: с учителем или без, аналоговые, двоичные или образные, с фиксированными или динамическими связями. Ультимативной классификации не существует. Инфографика, созданная в 2016 году, демонстрирует почему.