ИИ, который изменил мир

Особенности нейронных сетей

Рассмотрим произвольную компоненту нормированных (предобработанных) данных: . Среднее количество информации, приносимой каждым примером , равно энтропии распределения значений этой компоненты . Если эти значения сосредоточены в относительно небольшой области единичного интервала, информационное содержание такой компоненты мало. В пределе нулевой энтропии, когда все значения переменной совпадают, эта переменная не несет никакой информации. Напротив, если значения переменной равномерно распределены в единичном интервале, информация такой переменной максимальна.

Как входами, так и выходами нейросети могут быть совершенно разнородные величины. Очевидно, что результаты нейросетевого моделирования не должны зависеть от единиц измерения этих величин. А именно, чтобы сеть трактовала их значения единообразно, все входные и выходные величины должны быть приведены к единому — единичному — масштабу. Кроме того, для повышения скорости и качества обучения полезно провести дополнительную предобработку данных, выравнивающую распределение значений еще до этапа обучения.

В обучении без учителя упор делают не на конкретные указания, как система должна поступать, а на общую оценку действий системы в процессе решения задачи. Специалисты предоставляют нейросети некий объем необработанных данных, а нейросеть сама извлекает из них алгоритмы, обучаясь независимо. Итерации также неограниченны до момента получения допустимых показателей.

Теперь, после знакомства с базовыми принципами нейросетевой обработки, можно приступать к практическим применениям полученных знаний для решения конкретных задач. Первое, с чем сталкивается пользователь любого нейропакета — это необходимость подготовки данных для нейросети. До сих пор мы не касались этого, вообще говоря, непростого вопроса, молчаливо предполагая, что данные для обучения уже имеются и представлены в виде, доступном для нейросети. На практике же именно предобработка данных может стать наиболее трудоемким элементом нейросетевого анализа. Причем, знание основных принципов и приемов предобработки данных не менее, а может быть даже более важно, чем знание собственно нейросетевых алгоритмов. Последние как правило, уже «зашиты» в различных нейроэмуляторах, доступных на рынке. Сам же процесс решения прикладных задач, в том числе и подготовка данных, целиком ложится на плечи пользователя. Данная глава призвана заполнить этот пробел в описании технологии нейросетевого анализа.

Такая процедура не гарантирует нахождения наилучшей комбинации входов, т.е. дает субоптимальный набор признаков, т.к. реально рассматривается лишь очень малая доля от полного числа комбинаций входов, и значимость каждого нового признака зависит от сделанного прежде выбора. Полный перебор, однако, практически неосуществим: выбор оптимальной комбинации входов при полном их числе требует перебора комбинаций.

До сих пор мы старались максимизировать энтропию каждого входа (выхода) по отдельности. Но, вообще говоря, можно добиться гораздо большего максимизируя их совместную энтропию. Рассмотрим эту технику на примере совместной нормировки входов, подразумевая, что с таким же успехом ее можно применять и для выходов а также для всей совокупности входов-выходов.

Нырнем в историю

Однако эксперты утверждают, что потенциала нейросетей все же недостаточно, чтобы занять место человека там, где требуются гибкие навыки, креатив и эмоциональный интеллект. А профобласти, в которых необходимо личное общение и индивидуальный подход, например, сфера обслуживания, строительство, здравоохранение, меньше всего подвергнутся влиянию ИИ.

Очевидно, что разработки в сфере искусственного интеллекта требуют вложения огромного количества денежных средств. Однако стартапам на этот счет беспокоиться не стоит, ведь даже мировые IT-гиганты, например, Microsoft, Google, Amazon, готовы финансировать подобные проекты.

С этими нейронками ролики в Instagram и TikTok будут набирать миллионы просмотров: в CapCut можно изменять свет или колдовать с фоном, Adobe Podcast и Auphonic станут отличными помощниками в работе со звуком, Midjourney сгенерирует любое изображение, а Genny добавит в твое видео профессиональный закадровый голос.

Не следует, однако, обольщаться существованием столь простого рецепта определения значимости входов. Линейная модель может быть легко построена и без привлечения нейросетей. Реальная сила нейроанализа как раз и состоит в возможности находить более сложные нелинейные зависимости. Более того, для облегчения собственно нелинейного анализа рекомендуется заранее освободиться от тривиальных линейных зависимостей — т.е. в качестве выходов при обучении подавать разность между выходными значениями и их линейным приближением. Это увеличит «разрешающую способность» нейросетевого моделирования (см. Рисунок 35).

Что же ждет нас дальше? Вангуем, что к теме внедрения нейросетей в обычную жизнь будут привлекаться все больше и больше специалистов, стремящихся сделать свою работу быстрее и качественнее с помощью умных сеток. О порабощении человека искусственным интеллектом говорить не приходится, но ИИ так или иначе уже стал незаменимым инструментом, без которого в будущем нам не обойтись. А спрос на нейросети, в свою очередь, породит еще большую волну интереса к тем, кто занимается их созданием и обучением.

Собственные числа матрицы ковариаций , фигурировавшие в предыдущем разделе, являются квадратами дисперсий вдоль ее главных осей. Если между входами существует линейная зависимость, некоторые из этих собственных чисел стремятся к нулю. Таким образом, наличие малых свидетельствует о том, что реальная размерность входных данных объективно ниже, чем число входов. Можно задаться некоторым пороговым значением и ограничиться лишь теми главными компонентами, которые имеют . Тем самым, достигается понижение размерности входов, при минимальных потерях точности представления входной информации.