Как устроен объяснимый искусственный интеллект и какие проблемы он решает

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Аверкин А. Н.

Для того чтобы получить семантическую интерпретацию «черного ящика» глубокого обучения, нейронечеткие сети могут быть использованы вместо последнего полносвязного слоя. Например, ANFIS (адаптивная нейронечеткая система) является многослойной сетью прямого распространения. Эта архитектура имеет пять слоев, таких как нечеткий слой, продукционный слой, слой нормализации, слой дефаззификации и выходной слой. ANFIS сочетает преимущества нейросети и нечеткой логики. Далее приведем классификацию наиболее известных нейронечетких подходов.

Последней попыткой Л. Заде облегчить взаимодействие с людьми и помочь им понять функционирование модели рассуждений было использование того, что он назвал восприятиями. В повседневной жизни люди заменяют ими точные измерения: они используют восприятие расстояния, размера, цвета, вероятности для принятия решений и действий, точных или неточных. Построение модели рассуждений, которая учитывает восприятие таких характеристик при принятии решений, безусловно, является хорошим способом заставить людей понять, как принимаются решения.

3. Гибридные нейронечеткие модели. Нечеткая система использует метод обучения, как это делает и ИНС, чтобы настроить свои параметры на основе обучающих данных. Среди представленных классов моделей наибольшей популярностью пользуются модели именно данного класса, доказательством тому служит их применение в широком спектре реальных задач [5].

В некоторых странах внедрение объяснимого ИИ станет обязательным требованием для компаний со стороны государств. Европарламент уже принял закон под названием AI Act, который устанавливает правила и требования для разработчиков моделей ИИ. Они должны обеспечить прозрачность работы таких систем.

Преимущества «черного ящика» заключаются в том, что такое обучение происходит быстрее и стоит дешевле, а также позволяет давать системе для обучения сразу большой массив данных. Современные модели, такие как GPT и Alpha Zero, обучаются именно по модели «черного ящика». Так, OpenAI — разработчик ChatGPT, DALL-E и других ИИ-систем — не стала раскрывать набор данных, использованных для обучения модели GPT-4.

2. Параллельные нейронечеткие модели. Нейронная сеть в данном типе модели работает параллельно с нечеткой системой, предоставляя входные данные в нечеткую систему или изменяя выходные данные нечеткой системы. Нейронная сеть может являться также и постпроцессором выходных данных из нечеткой системы.

11. Juang Chia Feng, Lin Chin Teng. An Online Self Constructing Neural Fuzzy Inference Network and its Applications // IEEE Transactions on Fuzzy Systems, 1998. V. 6. No1. P. 12-32. Gunning et al., 2019. Gunning, D., Aha, D. DARPA’s Explainable Artificial Intelligence (XAI) Program // AI Magazine. 2019. V. 40 (2). P. 44-58.

система обобщенного приближенного интеллектуального управления на основе рассуждений (GARIC) [8] представляет собой нейроне-четкую систему, использующую два нейросетевых модуля, модуль выбора действия и модуль оценки состояния, который отвечает за оценку качества выбора действий предыдущим модулем. GARIC — пятислой-ная сеть прямого распространения;

Характеристики XAI

Отдельные исследователи предложили идею «белого ящика», или моделей, которые будут объяснимыми и прозрачными. Так, систему ИИ можно разбивать на модули, каждый из которых может быть интерпретирован, либо изначально строить модели с соблюдением правил прозрачности, чтобы разработчик не терял контроль над ситуацией.

Каждое десятилетие в технологиях происходят революционные сдвиги, которые становятся новыми платформами, на которых строятся новые прикладные технологии. Так, искусственный интеллект перешел от экспертного обучения первого поколения и экспертных систем к системам искусственного интеллекта второго поколения на основе нейросетей глубокого обучения, требующих больших обучающих выборок. Теперь мы вступаем в третье поколение ИИ, в котором система искусственного интеллекта сможет интерпретировать и объяснить алгоритм принятия решений, даже если он имеет природу «черного ящика». Объяснимый искусственный интеллект является основной

Следует отметить роль Л. Заде в создании Z Advanced Computing, Inc. (ZAC). ZAC является «пионером» технологий когнитивного объяснимого ИИ (искусственного интеллекта) (Cognitive XAI), например для детального распознавания сложных 3D-изобра>кений/объектов под любым углом обзора.

XAI использует специальные методы, позволяющие отслеживать и объяснять каждое решение, принятое в процессе машинного обучения. ИИ же обучается с помощью алгоритма, архитектура которого не до конца понятна. Эту проблему принято называть «черным ящиком»: даже если система дает точные ответы, зачастую сложно выяснить, как именно она пришла к такому решению.

Проводится краткий обзор и анализ существующих методов объяснимого искусственного интеллекта и методов извлечения правил из нейронных сетей и истории этих направлений. Обосновывается, что объяснимый искусственный интеллект является основной частью искусственного интеллекта третьего поколения. Описывается роль Лотфи Заде в создании направления объяснимого искусственного интеллекта. Делается акцент на связи наиболее распространенных в искусственном интеллекте систем объяснений на основе правил с нейронечеткими системами и возможности создания гибридных моделей. Методы извлечения правил из нейронных сетей являются одним из связующих элементов между символьными и коннекционист-скими моделями представления знаний в искусственном интеллекте.

адаптивная нейронечеткая система вывода ANFIS — это хорошо известная нейронечеткая модель, которая применялась во многих приложениях и исследовательских областях [7]. Более того, сравнение архитектур нейронечетких сетей показало, что ANFIS показывает минимальную ошибку в задаче прогнозирования. Основным недостатком модели ANFIS является то, что она предъявляет серьезные требования к вычислительной мощности;