Как написать свою первую нейросеть на Python

3 Одно отличие, ставшее «судьбоносным»

В случае создания и использования гибридных ИИ-систем, сети глубинного обучения готовят для принятия решений универсальным решателем базовую информацию. Фактически, именно на этом уровне и будет заканчиваться «необъяснимое» в работе таких систем. Но человеческое сознание работает примерно так же. Например, если человек видит кошку, то он обычно не может объяснить, как именно он распознал в животном именно кошку (все рационализирующие объяснения на тему «это маленькое животное с острыми ушками и полосатым хвостом» не годятся, так как это именно рационализация постфактум). Но далее символ «кошка» и все его над-символы могут участвовать в дальнейшем выводе, и результаты такого вывода могут быть вполне объяснены.

В качестве промежуточного вывода, учитывая долгосрочные последствия, признаем, что чисто нейросетевой подход в широком смысле является, по всем видимости, тупиковым. Во-первых, нейронная сеть, как правило, не позволяет понять (и проконтролировать) как она функционирует, то есть ничего не добавляет в общую «копилку знаний». Во-вторых, как бы хорошо не справлялась нейронная сеть с поставленной задачей, всегда есть опасения, что с такой же уверенностью она выдаст ошибочный ответ в результате маленькой, незамеченной ранее особенности [2] . При этом вопрос снижения частоты ошибок второго рода при использовании нейросетевого подхода в общем случае решить практически невозможно из-за отсутствия формализма объяснения результатов работы нейросетевых моделей.

Человеческий мозг состоит из ста миллиардов клеток, которые называются нейронами. Они соединены между собой синапсами. Если через синапсы к нейрону придет достаточное количество нервных импульсов, этот нейрон сработает и передаст нервный импульс дальше. Этот процесс лежит в основе нашего мышления. Мы можем смоделировать это явление, создав нейронную сеть с помощью компьютера. Нам не нужно воссоздавать все сложные биологические процессы, которые происходят в человеческом мозге на молекулярном уровне, нам достаточно знать, что происходит на более высоких уровнях. Для этого мы используем математический инструмент — матрицы, которые представляют собой таблицы чисел. Чтобы сделать все как можно проще, мы смоделируем только один нейрон, к которому поступает входная информация из трех источников и есть только один выход. 3 входных и 1 выходной сигнал Наша задача — научить нейронную сеть решать задачу, которая изображена в ниже. Первые четыре примера будут нашим тренировочным набором. Получилось ли у вас увидеть закономерность? Что должно быть на месте вопросительного знака — 0 или 1?

Кроме сравниваемых далее нейронных и семантических сетей существует еще несколько потенциально конкурирующих решений. Все они родственны семантическому подходу т.к. предполагают явное представление знаний. Кроме того, в них можно (иногда весьма условно) выделить хранилище информации и (или) знаний и машину вывода, способную «оперировать» этими знаниями. Существует несколько альтернатив: уже упомянутые семантические сети, фреймы, специальные языки типа LISP, Prolog или KL-ONE и др. Однако в последние 30 лет семантические и нейронные сети заняли доминирующее положение.

Чем больше данных, особенно качественно размеченных, — тем лучше результат работы глубинных нейронных сетей [Гудфеллоу, 2017]. Более того, они могут обобщать информацию и находить скрытые зависимости, строя что-то типа продукционных правил «если …, то …» [Miller, 1957]. Фактически, любая нейросеть при обучении делает это, так как в действительности строит правила преобразования входных данных в выходные, что на более высоком уровне абстракции можно представить в виде продукций «Если вход принимает такие-то значения, то выход равен тому-то» [Каллан, 2001].

Фактически даже люди со своим естественным интеллектом часто не могут отличить причинно-следственную связь от корреляции. Естественный отбор способствовал тому, что неокортекс человека склонен находить причинно-следственные связи там, где их может и не быть [Haselton, 2000]. С точки зрения эволюции это вполне разумно, так как лучше избежать мнимой угрозы и выжить, чем долго размышлять на тему, является ли одно событие прямым следствием другого, в результате чего погибнуть в пасти тигра или крокодила. Так что излишняя склонность видеть причинно-следственные связи у людей вполне может быть инструментом снижения ошибок второго рода в распознавании образов [Кэрролл, 2005].

В описываемом случае УМВ должна представлять собой гораздо более сложный программный комплекс, чем представлялось ранее. Активность этого комплекса должна модифицироваться в зависимости от целого ряда контекстных переменных (конкретного предметного мира, масштабных параметров времени, размеров и пр.). Такие модификации должны приводить к настройке алгоритмов работы УМВ. Например, в случае разных масштабов рассматриваемых миров (квантовый мир — мезомир — мегамир) должны меняться и контекст (активная часть фактографической БД), и действующие в этом мире закономерности (активная часть БЗ).

В качестве технологической основы построения экспертных систем вообще и когнитивных вычислительных систем, в частности, весьма показательную борьбу ведут нейросетевой и семантический подходы. Оба подхода претендуют на выполнение основных функций: обработки, накопления и использования знаний.

2 Дискутируем с Г. Маркусом

Ну и, наконец, в оригинальной статье Маркуса описана проблема в некотором роде упаднического характера. Но, на самом деле, проблемы тут нет. Системы ГО вполне можно применять в различных прикладных задачах, просто сама отрасль ещё достаточно молода, чтобы получить прикладное развитие. Тем не менее, процессы уже идут. Системы машинного зрения уже давно становятся на службу таких отраслей, как обеспечение безопасности и организация дорожного движения. Распознавание инцидентов на автомобильных дорогах и в зонах контроля видеонаблюдения — самые что ни на есть прикладные задачи. Рекомендации по результатам покупок или голосований в социальных сетях — тоже прикладные задачи, успешно решаемые методами глубинного ГО.

Конечно, методы ИИ вообще ещё не так широко применяются, как того хотелось бы. В целом, ИИ войдёт во все сферы жизни человека и общества и изменит их, часто до неузнаваемости. В частности, точно подвергнутся самому серьёзному влиянию следующие аспекты [Душкин, 2017]:

Так что при использовании гибридного подхода опять можно взять лучшее от обеих парадигм. На нижнем уровне распознающие нейросети будут определять конкретные объекты и понятия, с которыми приходится взаимодействовать системе, а на уровне выше эти распознанные понятия могут укладываться в семантические сети для определения иерархических взаимоотношений и получения обобщённых выводов на основе классов высших порядков, в которые входит распознанный объект [Sowa, 1991]. Например, визуальная нейросеть распознаёт лицо мужчины на фотографии, а на верхнем уровне к конкретным характеристикам распознанного лица добавляются не только персональные данные и физические характеристики, но и такие понятия, как «взрослый», «самец», «человек», «примат», «млекопитающее» и все остальные классы, в которые входят все нижележащие объекты иерархии. А далее к ним могут быть применены все правила и метаправила вывода для получения как заключений по конкретной ситуации, так и новых знаний.

Далее в оригинальной статье автор делает неутешительные прогнозы о том, что поднятая шумиха по поводу ГО может привести к новой, уже третьей по счёту «зиме» искусственного интеллекта. Однако он также даёт и своё видение того, как всё это можно было бы преодолеть. Среди его советов такие: применение методики спонтанного обучения, попытки решения более сложных задач, использование современных знаний в области психологии и, наконец, применение гибридных моделей с технологиями синтаксической манипуляции символами.

Всё перечисленное подводит к главной идее — для разработки систем искусственного интеллекта необходимо использовать оба подхода для получения наиболее эффективных результатов. При этом каждая из технологий будет применяться для реализации той части задач, к которым она максимально приспособлена. При таком гибридном подходе каждая технология предстанет со своими сильными положительными свойствами, а проявления слабых свойств можно будет избежать. Такой подход позволит создать ИИ-системы, которые будут обладать мощью ГО для распознавания образов и других подходящих для машинного обучения задач, но при этом будут хранить и обрабатывать полученные данные в семантическом виде и, соответственно, иметь возможность объяснения полученных результатов и принятых решений. В свою очередь, это позволит снять многочисленные вопросы этического характера, возникающие при использовании ИИ-систем.

Можно предположить, что во всех этих сферах жизни появятся и будут развиваться мощные системы поддержки принятия решений (СППР), которые, по своей сути, представляют яркие примеры реализации нисходящей парадигмы [Терелянский, 2009]. Но эти СППР далее будут впитывать в себя методы ГО и другие технологии восходящей парадигмы, и, в конечном итоге, станут гибридными СПР — системами принятия решений, из которых пресловутый человеческий фактор зачастую исключён в принципе.

Лучше обучение. Искусственные нейронные сети обучаются примерно по тому же принципу, что живые существа. Когда человек часто повторяет одни и те же действия, он учится: ездить на велосипеде, рисовать или набирать текст. Это происходит, потому что веса между нейронами в мозгу меняются: нервные клетки наращивают новые связи, по-новому начинают воспринимать сигналы и правильнее их передают. Нейронная сеть тоже изменяет веса при обучении — чем оно объемнее, тем сильнее она «запомнит» какую-то закономерность.

В это связи может встать вопрос о возможности представления плохо формализуемых правил из областей знания, не оперирующих строгими зависимостями и понятиями. Стоит отметить, что некоторые исследователи подчеркивают потенциальную возможность формализации даже описательных наук, опираясь на достижения в области математических подходов [Шевченко, 2019].