Глазами нейросети: мир как набор стереотипов

Обратное распространение: Учимся на ошибках

Примечание: В нашей статье мы будем рассматривать градиентный спуск в классическом виде, однако следует заметить, что когда речь идет об анализе изображений в виду большой размерности градиентный спуск в изначальном виде может быть невозможен, поэтому приходится использовать приближенные к нему методы, которые руководствуются похожей логикой.

Для распознавания оттенка кожи использовались инструменты VGG-face и RetinaFace, а также YCbCr-алгоритм и шкала фототипов Фитцпатрика, которая была разработана в 1970-х годах и измеряет чувствительность кожи к ультрафиолету. Шкала Фитцпатрика делит все типы кожи на шесть оттенков — от самого светлого, «европейского», до очень тёмного, близкого к чёрному. Как отмечают журналисты, эта шкала — неидеальный, но стандартный инструмент измерения, который применяется в разных отраслях от медицины до исследований по этике ИИ. Авторы эксперимента рассчитали среднее значение оттенка кожи для каждого изображения и присвоили ему значение: от 70 (для самого светлого) до 215 (для самого тёмного типа кожи).

Авторы исследования в Science от 2017 года изучали, перенимает ли искусственный интеллект особенности значений слов, исторически закрепившиеся в языке. С помощью алгоритма GloVe они проанализировали корпус интернет-текстов из 840 миллиардов слов, составив статистику слов, связанных между собою по ассоциации. Чем чаще два слова встречались в текстах на небольшом расстоянии друг от друга, тем чаще они ассоциировались между собой.

Часто также выделяют отдельно сверточные слои (convolution layers): Когда фотография проходит через сверточный слой, происходит что-то похожее на сканирование изображения. Нейросеть на этом слое ищет определенные узоры или фигуры, например, края, углы, или текстуры, которые помогают понять, что на картинке изображено. После сверточного слоя фотография разбивается на кусочки из найденных объектов, которые будут меньше размером и их легче будет анализировать.

2. Абстракция : Нейросеть стремится к абстракции, выделяя особенности, которые ей кажутся важными для различения между классами объектов. Это может привести к тому, что изображения становятся все более абстрактными и трудно интерпретируемыми для человеческого восприятия. То, какие именно особенности ей покажутся важными, во многом зависит от данных, на которых нейросеть обучалась. Например, если все мужчины, которых нейросеть “видела”, были в черных очках, то нейросеть первым делом научится распознавать на фотографии черные очки, а остальные признаки, такие как форма лица или волосы на лице, она будет опускать.

В 2014 году Amazon разработал технологию с ИИ, которая присваивала рейтинг каждому отклику на вакансии. Вскоре обнаружилось, что робот ставил меньшие баллы женщинам. Он занижал рейтинг резюме со словом «женщина», а также отсеивал тех кандидаток, кто учился в учебных заведениях для девушек.

Вероятно, мы не можем полностью избавить нейросети от стереотипов, пока сами остаёмся предвзятыми. В основе наших предубеждений — стремление человеческого мозга к упрощению и поиску закономерностей в окружающей среде. Эта адаптивная реакция заложена в нас природой. Выживание в прошлом зависело от того, как быстро человек распознаёт в другом «своего» или «чужого». Отсюда и автоматические негативные реакции на непохожего, чужака. Вопрос о том, насколько хорошо мы можем контролировать сформированный эволюцией «здравый смысл», остаётся открытым.

Процесс визуализации признаков начинается со случайного изображения или шума, которое затем подвергается оптимизации, чтобы максимизировать активацию конкретного “нейрона” или группы “нейронов” в определенном слое нейросети. Это достигается путем изменения пикселей изображения таким образом, чтобы они максимально активировали выбранные “нейроны”.

Как избавить нейросети от стереотипов

Так, например, первые скрытые слои могут отвечать за распознавание базовых характеристик изображения, таких как грани, текстуры и цвета. “Нейроны” в первом слое могут реагировать на вертикальные или горизонтальные линии на изображении , а другие могут определять области с определенным цветом.

Представьте себе нейронную сеть, которой поручено проанализировать Вашу фотографию, и сделать выводы относительно ее содержания. Например, какого пола человек изображен на фотографии, во что он одет и сколько ему лет. По мере того, как Ваша фотография начинает свое путешествие по этой нейронной сети, она проходит ряд сложных вычислений.

Предубеждённые нейросети могут нанести буквальный, а не гипотетический вред, уверены в ЮНЕСКО. Организацию беспокоит, что ребёнок, запрашивая в поиске выражение «‎school girl»‎, обнаружит много интересного, но не связанного с учёбой контента, — именно из-за предвзятости поисковых алгоритмов. Запрос «‎school boy»‎ будет более адекватным.

Осознают риски и передовые AI-компании. За месяц до запуска чат-бота компания OpenAI наняла юриста, который тестировал ChatGPT на наличие стереотипов в отношении афроамериканцев и мусульман. Он с помощью запросов провоцировал нейросеть на опасные, предвзятые и некорректные ответы.

Процесс визуализации признаков начинается со случайного изображения или шума, которое затем подвергается оптимизации, чтобы максимизировать активацию конкретного “нейрона” или группы “нейронов” в определенном слое нейросети. Это достигается путем изменения пикселей изображения таким образом, чтобы они максимально активировали выбранные “нейроны”.

На примерах с HR-алгоритмом Amazon и набором данных от Google видно, что предвзятость ИИ приводит к искажениям, которые могут масштабироваться. Любой перекос в системе соответствия слов Word2vec автоматически переносится в каждое использующее этот набор приложение. Например, в алгоритмах поиска на Word2vec слово «программист» теснее связано с мужским полом, чем с женским. Это значит, что поиск по фразе «резюме программиста» может выдавать резюме мужчин выше и чаще, чем женщин.

Одной из основных проблем здесь является то, что разработчики могут не замечать недостатков в обучающей выборке из-за ее большого объема. Представьте, что у вас есть тысячи фотографий, используемых для обучения нейросети. В таких больших объемах данных легко пропустить какие-то мелкие детали или недостатки, особенно если обучение проводится автоматически или с использованием больших наборов данных .

Вот как это может происходить: представим, что у нас есть набор фотографий человека для обучения нейросети. Этот набор может содержать различные фотографии с разных углов, в разном освещении и с разными выражениями лица. Нейросеть старается выделить общие черты лица , которые помогут ей распознавать человека на других изображениях. Однако, если в обучающей выборке были какие-то уникальные особенности этого человека, которые не были представлены в достаточном количестве, нейросеть может «запомнить» эти детали и использовать их для классификации в будущем. В таком случае, если мы визуализируем то, что “видит” нейросеть, на экране будет кусочек фотографии этих деталей в первоначальном виде, так как его значение было сохранено в весах и смещениях, а значит именно он будет наибольшим образом активировать “нейроны”, а не усредненное значение всех обучающих фотографий.