Нейрообъятия для человечества

Нейросети нужен человек

Всего за пару десятков лет искусственный интеллект, кажется, научился всему: от генерации текста и изображений до прогноза погоды, вождения автомобилей и обнаружения патологий на рентгеновских снимках. Тем не менее, в отличие от нашего мозга, созданный по его подобию ИИ неуниверсален — для решения конкретных задач нейросети постоянно изменяют и совершенствуют. Рассказываем, как они устроены, чем отличаются друг от друга и почему ни одна нейросеть не способна обойтись без человека.

Слои Dropout помогают предотвратить переобучение модели и улучшить её способность обобщать данные. Переобучение происходит, когда модель слишком хорошо запоминает тренировочные данные, но плохо работает на новых, незнакомых данных. Слои исключения помогают избежать этой проблемы.

Современные графические процессоры (GPU) позволяют разрабатывать нейронные сети, способные выполнять множество задач одновременно. Например, нейронная сеть, обученная на большом наборе изображений, может автоматически распознавать лица на фотографиях. Сегодня нейронные сети используются во многих областях, включая медицину, финансы, производство, транспорт и многое другое. Они выполняют множество различных задач, таких как классификация изображений, распознавание речи, анализ текста, прогнозирование временных рядов и многое другое.

Каждый тип слоёв вносит свой вклад в обработку данных нейросетью, позволяя ей извлекать различные типы признаков и закономерностей. Комбинируя эти слои в различных архитектурах, можно создавать мощные модели для решения задач компьютерного зрения, обработки естественного языка и других областях.

Рекуррентные нейронные сети. Связь между узлами в таких нейросетях образует направленные последовательности. При этом каждый следующий этап работы может использовать результат предыдущего в качестве входных данных. Проще говоря, у этих нейросетей есть внутренняя память, поэтому они могут работать с наборами данных разной длины, делить на части, сохранять и обращаться к уже обработанным блокам. Именно рекуррентные сети используются для обработки языков, распознавания и синтеза речи, машинного перевода.

За последние 70 лет нейросети прошли путь от теории к практическому применению и сейчас используются там, где раньше никто даже не задумывался о цифровизации, — например, в сибирских заповедниках для контроля популяции животных, создания картин и даже написания книг. Исследователи, в свою очередь, имеют дело с более сложными задачами, такими как обработка естественных языков и видео. И чем закончится эта веха популярности нейросетей, мы можем только гадать.

Применение разных типов архитектур в бизнесе

Сверточные нейросети. Архитектура сверточных нейронных сетей похожа на нейросети прямого распространения, но они обладают бо́льшим количеством слоев. Это позволяет учитывать свойства входных данных и реализовывать прямое распространение эффективнее, что подходит для обработки изображений. Структура тоже однонаправленная (данные проходят от входного слоя к выходу), и обратных связей тут нет. Сверточные нейросети напоминают зрительную кору, у которой есть простые клетки, реагирующие на попадание света под разным углом, и сложные клетки, реакция которых связана с активацией простых. Они входят в набор глубокого обучения (deep learning) и позволяют распознавать объекты, прогнозировать, классифицировать изображения, находить аномалии и выполнять другие подобные задачи.

Сверточные нейронные сети (CNN) обычно состоят из чередующихся сверточных слоёв и слоёв пулинга, за которыми следуют один или несколько полносвязных слоев. Благодаря операции свёртки слои в CNN эффективно извлекают пространственные признаки из изображений и демонстрируют высокую точность на задачах классификации изображений. Соответственно, такой тип сеток хорош для задач компьютерного зрения, например, распознавания объектов на фото.

Правильная комбинация слоев и архитектур может значительно повысить производительность нейронной сети и качество результатов её работы. Различные типы нейронных сетей имеют свои особенности внутренней архитектуры, а что ещё важнее — та или иная архитектура лучше справляется с тем или иным типом задач. Вот пара примеров:

Даже при всем желании рассказать про все существующие виды нейросетей невозможно. Может быть, пока вы читаете этот материал, где-то уже придумали еще один алгоритм. Однако существует три наиболее чаще встречающихся разновидности нейросетей, на которых есть смысл остановиться подробно.

Для генерации изображений можно воспользоваться, например, нейросетью Kandinsky, обученной специалистами Сбера, или нашумевшей Midjourney. Опробовать Kandinsky можно в приложении «Салют», команда «Позови художника». Если раньше для работы с нейросетями необходимо было скачивать или разворачивать их на сервере, то сейчас появились и более простые решения для удобства пользователей.

Нейросети можно категоризировать по-разному — например, на однослойные и многослойные, на нейросети прямого распространения и рекуррентные, на радиально-базисные, а также по типу обучения: с учителем или без, аналоговые, двоичные или образные, с фиксированными или динамическими связями. Ультимативной классификации не существует. Инфографика, созданная в 2016 году, демонстрирует почему.

Все это довольно очевидные примеры, при этом каждый день многие из нас работают с нейросетями и даже не догадываются об этом. В Яндекс.Переводчик давно встроена нейросеть, которая обучается и совершенствует качество перевода, а в каждом современном смартфоне сейчас есть алгоритм, который дорабатывает изображение, полученное с камеры, и улучшает его. С помощью нейросетей также делают прогнозы погоды, распознают объекты на фотографиях и раскрашивают старые фильмы.

В середине XX века двое ученых, Уоррен Маккаллок и Уолтер Питтс, предположили, что нейроны в мозгу человека, если говорить просто, оперируют двоичными числами, как и компьютеры. Они создали конструкцию электронных аналогов нейронов и предсказали, что такая сеть сможет повторять работу мозга: обучаться, распознавать текст и изображения и многое другое. Их исследование, опубликованное в 1943 году, легло в основу работы «Логическое исчисление идей, относящихся к нервной активности». Ее можно считать точкой отсчета существования нейросетей — математических моделей, построенных по принципу организации и функционирования биологических нейронных сетей — нервных клеток живого организма.

От теории к практике

При обучении нейронной сети все ее «веса» изначально задаются случайными значениями. Обучающие данные подаются на нижний, или входной, слой. Затем они проходят через последующие слои, пока не достигают выходного. Во время обучения «веса» и пороговые значения постоянно корректируются до тех пор, пока данные обучения не будут постоянно давать одинаковые результаты.

В материале попробуем просто рассказать о том, как устроена нейронная сеть, какие типы архитектуры нейросетей существуют и какую роль в работе сетки играют слои. Материал — для нетехнических специалистов. Понимание базы поможет чуть лучше понимать инженеров и разработчиков, а также, возможно, принимать более информированные бизнес-решения, связанные с внедрением разработок на основе ИИ.

Например, в случае распознавания изображений первые скрытые слои могут обнаруживать простые элементы (края и углы), а последующие слои комбинируют эти элементы в более сложные структуры (формы и объекты). Количество скрытых слоев потенциально бесконечно — их количество зависит от сложности задачи и архитектуры нейронной сети.

Нейросети прямого распространения. Узлы таких нейросетей не связаны друг с другом в пределах одного слоя, а информация передается от одного слоя к другому. Это один из базовых типов нейросети, по сути логичное развитие идеи перцептрона. Он не может обеспечить высокой производительности, но хорошо работает в связке с другими нейросетями. Например, если дать такой нейросети кусочек задачи по обработке нескольких пикселей изображения, она сделает это быстро, но результаты все равно нужно будет обработать.

Нейронные сети имитируют работу человеческого мозга, чтобы обрабатывать и анализировать данные. Они обучаются на большом объёме информации, выявляя закономерности и связи между сущностями. Это позволяет им выполнять сравнительно сложные когнитивные задачи — распознавать изображения, обрабатывать естественный язык и прогнозировать сценарии развития событий в специфических областях.

Примером работы генеративной нейросети, взаимодействующей не с изображениями, а с текстом, может служить сборник рассказов «Пытаясь проснуться», написанный совместными усилиями писателя Павла Пепперштейна и нейросети ruGPT-3. Нейросеть используется и в других сервисах и проектах Сбера: например, «Суммаризатор текста» делает короткую выжимку с главными тезисами из любой литературы, а «Рерайтер» переписывает текст с сохранением смысла. Есть даже генеративная музыка, созданная в нейросетевой архитектуре SymFormer, основанной на открытой модели Performer.