BBK 67 Право. Юридические науки
The author considers a controversial and very relevant topic. If military power can become legitimate and morally just, from the point of view of international humanitarian Law. In order to guarantee the exclusion of humanitarian mistakes or civilians’ destructions acts by autonomous artificial intelligence (AI) systems. In author`s opinion, to prevent attacks on IHL-protected objects with appropriate symbols, sites and surrender signals there is needed a preventive form of "minimally fair" weapon autonomy. The minimum fair forms of weapon autonomy differ favorably from other maximally fair forms proposed today by a certain group of scientists and states. This article will examine how speculative approach to the use of artificial intelligence distracts from bringing existing weapons into compliance with international humanitarian Law. Special attention is paid to the Additional Protocol to the Geneva Conventions of August 12, 1949, article 36.1.
minimum-fair autonomy, artificial intelligence, autonomous weapon systems, international humanitarian Law
Путаница в отношении средств, необходимых для достижения желаемого состояния ненасилия, не нова. Общее презрение к простым технологическим решениям, направленным на улучшение состояния мира, превалировало в антиядерной кампании, охватившей весь период конфронтации между США и Советским Союзом и не так давно возобновившейся с изобретением миниатюрных ядерных боеголовок и кампанией по запрещению противопехотных мин в конце девяностых. Не кажется неразумным спросить, почему оружие с усовершенствованными технико-тактическими параметрами не могло внедрить ИИ для идентификации символа Красного Креста и недопущения приказного удара. Кроме того, расположение охраняемых объектов религиозного значения, школ и больниц может быть запрограммировано в оружии, чтобы ограничить его действие. Также может быть указано предотвращение стрельбы из оружия по людям неавторизованным пользователем. Почему бы нам не начать апробировать такие новшества, чтобы их можно было закрепить в международных стандартах, разрешенных МГП вооружений?
На сегодняшнем этапе автор убежден, что автономные системы вряд ли будут способны к действиям, ведущим к возложению моральной ответственности на тех, кто дает приказ о его использовании в ближайшем будущем[1]. Однако сегодня эти системы могут автономно выполнять важные решения, заложенные в их структуру и код, поэтому они могут выполнять действия, соответствующие повышенным этическим и юридическим стандартам. Однако отсутствие стандартов как таковых для автономных систем оружия (АСО) с использованием ИИ не дает даже возможности оценки появившихся или использованных новых видов оружия и технологий.
Необходимо провести различие между двумя крайностями при оценке спектра этических способностей АСО с использованием ИИ (далее используя аббревиатуру АСО мы подразумеваем ее с использованием искусственного интеллекта). Максимально справедливая автономия с использованием искусственного интеллекта, управляющая допустимыми и неприемлемыми действиями, имеет преимущество обеспечения этически обязательного летального действия — даже когда системные инженеры подчиненной системы, возможно, не осознали необходимость или возможность соответствующего летального действия, но ограничены обязательными ограничениями при разработке программ ИИ.
Однако максимально справедливый этический робот требует тщательной этической инженерии. Так, интересна позиция, где «этический губернатор» Рональда Аркина представляет собой самый продвинутый прототип усилий по созданию максимально справедливой системы (давая такой термин, мы закладываем в него соблюдение принципа соразмерности). «Этический губернатор» дает оценку предлагаемым смертоносным действиям в соответствии с законами войны и правилами ведения боевых действий. Максимально справедливая позиция видна из объяснения работы интерпретатора ограничений, который является ключевой частью регулятора возможного применения АСО: «Процесс применения ограничений отвечает за рассуждения об активных этических ограничениях и обеспечение того, чтобы результат поведения робота этически был допустим»[2]. Система ограничений, основанная на сложной деонтической и предикатной логике, оценивает предлагаемые действия, генерируемые механизмом тактических рассуждений системы, на основе столь же сложной структуры данных. Рассуждение о полном объеме того, что допустимо с этической точки зрения, включая понятия пропорциональности и правила взаимодействия, как описывает Аркин, сопряжено с объективными трудностями.
Напротив, этический робот с заложенной максимально справедливой автономией хотя и является системой, управляемой ограниченно, мог бы работать без надлежащего этического регулятора, обладая лишь элементарным подавителем смертоносного действия, созданного человеком, который активировался бы в соответствии с гораздо более узким набором ограничений (жестких ограничений, т.е. закодированно, а не программно) — это означает, что потребуется меньшая системная интерпретация. Максимально справедливая автономия однозначно подразумевает, что недопустимо с этической точки зрения основывать ограничения на необходимости идентифицировать и избегать защищенных МГП объектов и поведения. Особо следует избегать охраняемых законом символов и локаций, знаков капитуляции (включая маяки) и т.д. Важно отметить, что эти ограничения ИИ различаются по шкале сложности и будут улучшаться по мере развития технологий ИИ.
Хотя минимально справедливая автономия (МинСА) будет более ограниченным с технической точки зрения оружием, она может быть более законной с точки зрения МГП по результатам своего действия, в ряде конкретных обстоятельств, максимально справедливая автономия[3], т.е. МинСА заранее не сможет предпринимать активных летальных действий против охраняемых МГП лиц или объектов инфраструктуры. Напротив, МаксСА включает кодификацию нормативных значений в наборы правил и интерпретацию широкого спектра входных данных посредством применения сложной и потенциально несовершенной машинной логики. Эта более сложная алгоритмическая мораль, хотя и потенциально желательная в некоторых обстоятельствах, предполагает большую вероятность активного внесения фатальных ошибок, особенно с точки зрения управления конфликтности программного обеспечения.
Осознавая вышеупомянутую дилемму, в этой статье предполагается, что для выполнения фундаментальных моральных обязательств перед человечеством[4], чтобы иметь этическое право разрабатывать системы МинСА, естественно установив и закрепив в МГП ее однозначные критерии. Этическое сознание, встроенное в машину и, таким образом, технологически опосредованное дизайном, проектированием и операционной средой, менее удалено от человеческих моральных норм, чем в системе МаксСА. Однако нельзя останавливаться или запрещать разработку МаксСА и ее критериев для МГП, т.к. при дальнейшей разработке более прогрессивного и надежного ИИ она может быть морально полезной в определенных обстоятельствах, но необязательно является морально необходимой — и даже может быть продемонстрирована как неэтичная.
Учитывая объективную реальность технологического прогресса, можно утверждать, что моральная желательность МинСА уменьшится в ближайшем будущем по мере того, как ИИ, лежащий в основе МаксСА, станет более надежным, и по мере того, как мы будем переходить от основанных на правилах и базовых систем нейронных сетей к искусственному общему интеллекту. Кроме того, весомость данного аргумента заключается в том, что ресурсы должны быть направлены на разработку максимально этичных роботов. Чтобы было ясно, в последние годы было объявлено о ряде историй успеха алгоритмов во всех родственных дисциплинах. Постоянное развитие алгоритмов как основы успеха AlphaGo и LibratusMuch привлекло большое внимание[5]. Эти системы соревнуются с лучшими игроками в покер среди людей, побеждая игроков, которые сделали приобретение глубоких знаний об этих играх делом всей своей жизни. Результатом этих предварительных успехов стало резкое увеличение количества сообщений в СМИ и интереса к потенциальным возможностям и ловушкам, связанным с развитием ИИ. Не все эти отчеты точны, и некоторые из них негативно повлияли на общественное восприятие ИИ.
В настоящее время существуют неразрешимые проблемы со сложными нейронными сетями, на которых основываются успехи ИИ. Эти самообучающиеся системы могут хорошо учиться в контролируемой среде и легко превосходить людей в заданных сценариях на основе структур данных и их корреляций, но эти системы не могут сравниться с нисходящей рационализаторской силой людей в более открытых (реальных) средах, таких как дорожные системы и зоны вооруженных конфликтов[6]. Такие системы являются рискованными в этих средах, поскольку от них требуется строгое соблюдение законов и правил. Было бы трудно задавать вопросы, интерпретировать, объяснять и контролировать эти системы, потому что системы глубокого обучения не могут легко отслеживать свои собственные «рассуждения»[7].
Не менее важно и то, что, когда более интуитивно понятные и, следовательно, менее объяснимые системы вступают в широкую эксплуатацию, может быть не так просто вернуться к системам более ранних стадий, поскольку люди-операторы начинают полагаться на систему при принятии сложных решений. Возникает опасность того, что собственные навыки принятия моральных решений операторами со временем могут быть с минимальной возможностью вмешательства или отмены[8]. В случае возникновения программных ошибок может произойти полный сбой системы с разрушительными последствиями, если такие системы будут задействованы в критически важных операциях, необходимых в вооруженном конфликте.
Кроме того, существуют проблемы, связанные с функциональной сложностью и практическими вычислительными ограничениями, налагаемыми на мобильные системы, которые должны быть способны к независимой работе в случае сбоя связи. Компьютеры, необходимые для систем уровня с ИИ, возможно, не подлежат миниатюризации или просто могут быть недостаточно мощными или экономически эффективными для намеченной цели, особенно в военном контексте, в котором автономное оружие иногда считается одноразовой платформой. Надежда сторонников ОИИ заключается в том, что вычислительная мощность компьютеров и другие системные компоненты будут продолжать становиться меньше, дешевле и мощнее, но нет никакой гарантии, что закон Мура, поддерживающий такие ожидания, продолжит действовать без значительного прогресса в области квантовых вычислений.
МаксСА на данный момент времени кажется отдаленной целью для достижения потенциального результата, который пока в обозримом будущем не гарантируется. Система МинСА, с другой стороны, стремится обеспечить использование очевидных и бесспорных преимуществ ИИ, в то время как связанные с этим риски контролируются обычными военными процессами определения цели. Таким образом, лица, ответственные за принятие решений, за разработку и принятие на вооружение АСО с ИИ, должны принять меры уже сейчас, чтобы предотвратить грандиозные замыслы, которые могут не реализоваться, и вместо этого добиться положительного результата по определению критериев МаксСА с помощью уже существующих технологий.
Статья 36 Международного гуманитарного права гласит, что при изучении, разработке, приобретении или принятии на вооружение нового оружия, средств или метода ведения войны Высокая Договаривающаяся Сторона обязана определить, будет ли ее применение в некоторых или во всех обстоятельствах запрещено настоящим Протоколом или любой другой нормой международного права, применимой к Высокой Договаривающейся Стороне, которое изменяет свою функцию, или оружие, уже прошедшее юридическую проверку, которое впоследствии модифицируется. Таким образом, включение МинАС в перечень законного оружия потребует пересмотра статьи 36.
Обычный подход к оценке в соответствии со статьей 36 охватывает техническое описание и характеристики оружия и предполагает, что люди оценивают и принимают решение об использовании оружия от оценки технических функций оружия. Подходы к оценке АСО с ИИ должны распространяться на заложенные в них возможности принятия решений и действия для МинАС.
Хотя статья 36 преднамеренно избегает навязывания того, как было принято такое определение, в данном конкретном случае это могло бы отвечать интересам Международного комитета Красного Креста и человечества в целом. Рассмотрим первое упоминание в международных договорах о необходимости проведения правовой экспертизы нового оружия. Так, Санкт-Петербургская декларация, предшествующая статье 36, имеет более широкий охват: «Договаривающиеся или Присоединяющиеся стороны оставляют за собой право прийти в дальнейшем всякий раз, когда будет составлено точное предложение с учетом будущих улучшений, которые наука может произвести в вооружении войск, чтобы сохранить установленные ими принципы и примирить потребности войны с законами человечества». По нашему мнению, касательно автономных систем с использованием искусственного интеллекта актуальна именно такая трактовка. Способность улучшать гуманитарные результаты за счет АСО с ИИ для выявления и предотвращения нападения на охраняемые объекты может стать, при соответствии установленным критериям, рекомендуемым стандартом.
[1] Чернявский А.Г. Право как минимум нравственности // Образование и право. 2020. № 3. С. 53–57.
[2] Arkin R.C., Ulam P., Duncan B. An Ethical Governor for Constraining Lethal Action in an Autonomous System // Technical report, Fort Belvoir, VA: Defense Technical Information Center, 1 January 2009. URL: https://doi.org/10.21236/ADA493563.
[3] Чернявский А.Г. Позиции западных ученых как оправдание нарушения суверенитета отдельных государств при вмешательстве в его внутренние дела под предлогом установления «минимальных демократических стандартов» // Военное право. 2021. № 1(65). С. 244–252.
[4] Чернявский А.Г. Методологические аспекты соотнесения природы права и человеческих интересов // Государство и право. 2017. № 4. С. 94–97.
[5] O’Malley J. The 10 Most Important Breakthroughs in Artificial Intelligence // TechRadar. 10 January 2018. URL: https://www.techradar.com/news/the-10-most-important-breakthroughs-in-artificial-intelligence.
[6] Чернявский А.Г., Синяева Н. А., Самодуров Д.И. Правовые основы обороны в зарубежных странах: учебное пособие. М., 2021. С. 7–12.
[7] Чернявский А.Г., Сибилева О. П. Автономное высокоточное оружие как вызов международному гуманитарному праву // Военное право. 2020. № 4(62). С. 229–238.
[8] Galliott J. The Limits of Robotic Solutions to Human Challenges in the Land Domain // Defence Studies 17. Pp. 327–345. URL: https://doi.org/10.1080/14702436.2017.1333890.
1. «The Solution», Campaign to Stop Killer Robots. 2018. URL: https://www.stopkillerrobots.org/the-solution/.
2. Galliott J. The Limits of Robotic Solutions to Human Challenges in the Land Domain // Defence Studies 17. Pp. 327-345. URL: https://doi.org/10.1080/14702436.2017.1333890.
3. O’Malley J. The 10 Most Important Breakthroughs in Artificial Intelligence // TechRadar. 10 January 2018. URL: https://www.techradar.com/news/the-10-most-important-breakthroughs-in-artificial-intelligence.
4. West J. Microsoft’s Disastrous Tay Experiment Shows the Hidden Dangers of AI // Quartz. 2 April 2016. URL: https://qz.com/653084/microsofts-disastrous-tay-experiment-shows-the-hidden-dangers-of-ai/.
5. Arkin R.C., Ulam P., Duncan B. An Ethical Governor for Constraining Lethal Action in an Autonomous System // Technical report, Fort Belvoir, VA: Defense Technical Information Center, 1 January 2009. URL: https://doi.org/10.21236/ADA493563.
6. Chernyavskiy A.G. Metodologicheskie aspekty sootneseniya prirody prava i chelovecheskih interesov // Gosudarstvo i pravo. 2017. № 4. S. 94-97.
7. Chernyavskiy A.G., Sibileva O. P. Avtonomnoe vysokotochnoe oruzhie kak vyzov mezhdunarodnomu gumanitarnomu pravu // Voennoe pravo. 2020. № 4(62). S. 229-238.
8. Chernyavskiy A.G. Pozicii zapadnyh uchenyh kak opravdanie narusheniya suvereniteta otdel'nyh gosudarstv pri vmeshatel'stve v ego vnutrennie dela pod predlogom ustanovleniya «minimal'nyh demokraticheskih standartov» // Voennoe pravo. 2021. № 1(65). S. 244-252.
9. Chernyavskiy A.G. Pravo kak minimum nravstvennosti. Obrazovanie i pravo. 2020. № 3. S. 53-57.
10. Chernyavskiy A.G., Emel'yanova A.I., Pravovoe obespechenie deystviy voysk (sil) v vooruzhennyh konfliktah i pri vypolnenii zadach po podderzhaniyu i vosstanovlenii mezhdunarodnogo mira i bezopasnosti // Vestnik voennogo prava. 2019. № 2. S. 21-30.
11. Chernyavskiy A.G., Sinyaeva N.A., Samodurov D.I. Pravovye osnovy oborony v zarubezhnyh stranah: uchebnoe posobie. M., 2021. S. 7-12.
