Может ли выйти из-под контроля искусственный интеллект, применяемый в военном деле

Наши проекты

— К сожалению, эта опасность существует. Машина работает с набором критериев, которые мы ей формируем. Эти критерии в случае военной ситуации очень прямолинейны. Мы идём убивать, и красивые слова про «не трогай человека» не могут быть учтены. В силу этого машина находится в открытой модели: мы не поставили для неё никаких блокеров на тему того, что можно, а что нельзя.

— Дмитрий Константинович, сейчас в сфере военных технологий красная кнопка находится в руках людей. Предположим, мы отдали все полномочия в принятии военных решений искусственному интеллекту. Это может привести к тому, что алгоритм посчитает, что лучший способ защиты — это нападение, и первым нанесёт удар?

Давайте попробуем быть оптимистами и сформулируем два утверждения. Одно утверждение находится на уровне самого ИИ: он должен иметь модель оценки «свой/чужой». Она может опираться на географию: те, кто находится по эту сторону линии, — свои, а по ту сторону — чужие.

Кроме того, мы можем разговаривать о том, что можем сделать со своей стороны. Но что сможет и захочет сделать наш вероятный противник, насколько он будет готов пуститься во все тяжкие и будет ли ограничивать модели, которые он применяет при управлении своими системами, — мы про это ничего не можем сказать. К сожалению, то, что происходит сейчас вокруг нас, оптимизма не внушает: противник скорее склонен к резким движениям.

В исследовании приняли участие 1600 респондентов по всей России. Речь идет о тех, кто регулярно интересуется научной тематикой, поскольку смотрят профильный телеканал. Климатические изменения и процесс развития ИИ могут оказать, по мнению россиян, существенное воздействие на будущее человечества. Более половины знакомых с этими новостями – 53% – оценили их как крайне важные.

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации).

Контакты

Как отметил Ямпольский, системам ИИ уже поручено принимать решения в здравоохранении, инвестировании, трудоустройстве, банковском деле и безопасности. Такие системы должны быть в состоянии объяснить, как они пришли к своим решениям, в частности, показать, что они свободны от предвзятости.

Развитие технологий искусственного интеллекта (ИИ) может привести к тому, что он начнет принимать решения самостоятельно. Сейчас нет доказательств того, что человек способен контролировать ИИ. Об этом говорится в обширном исследовании российского ученого из университета Луисвилля Романа Ямпольского, с которым ознакомилось издание Tech Xplore.

«Мы сталкиваемся с почти гарантированным событием, способным вызвать экзистенциальную катастрофу. Неудивительно, что многие считают это самой важной проблемой, с которой когда-либо сталкивалось человечество. Результатом может быть процветание или вымирание, и судьба вселенной висит на волоске», – отмечает ученый.

Искусственный интеллект (ИИ) всё активнее используется в военном деле. Насколько это опасно, может ли ИИ выйти из-под контроля и начать уничтожать своих разработчиков, а также о том, почему при обучении искусственного интеллекта люди зачастую опираются на ошибочную информацию, Pravda.Ru рассказал директор группы компаний DZ Systems Дмитрий Завалишин.

Вторая часть: хочется надеяться, что военные, которые давно этим занимаются, знают о понятии «свой/чужой», анализаторы «свой/чужой» встроены в оружие и есть шанс, что на этом уровне блокер сработает. Выстраивать блоки вокруг того, что генерируется системой, технологически возможно. Но от человека зависит, будут ли блоки:

«Если мы привыкнем принимать ответы ИИ без объяснения причин, мы не сможем гарантировать, не будет ли он давать неправильные или манипулятивные ответы», – подчеркнул Ямпольский. По его мнению, ученые должны найти баланс между высокоразвитым ИИ и безопасностью. В противном случае человек может стать «подобным младенцу», о которых искусственный интеллект заботится, но не контролируется ими.

Ученый утверждает, что способность человечества создавать интеллектуальное программное обеспечение намного превосходит его возможности контролировать или даже проверять его. Вне зависимости от пользы ИИ, он будет представлять «определенный уровень риска. Поэтому общество обязано минимизировать его при максимизации потенциальной выгоды.

Попытка санкционным давлением уничтожить экономику России, которая привела к росту экономики, показывает неадекватность представлений о нас даже профессионалов, которые этим занимаются. Они были ошарашены, настолько это не вписывалось в их ожидания. И это люди, которые живут тем, что анализируют нас. Даже они плохо нас знают. Что уж говорить про ситуацию, в которой мы запустим искусственный интеллект и он попробует собирать общую информацию. Он будет опираться на их мнения? Он обязан. Достоверны их мнения? Очень спорно. Результат какой будет? Как говорят программисты, garbage in — garbage out (мусор на входе — мусор на выходе).