Мораль для беспилотника

Как ограничить смертоносные автономные системы?

Эксперты ООН против огромных боевых человекоподобных роботов

«Обращение монстра». Карикатура Альфонса Вилле. 1918. Bibliotheque de Bordeaux
Текст: Олег Демидов, ПИР-центр

Тема боевых автономных роботизированных систем (БАРС, англ.: LARS или LAWS), также известных как смертоносные автономные системы (SAS), рассматривается международными межправительственными организациями с апреля 2013 г. Именно тогда на площадке Совета по правам человека ООН специальный докладчик ООН по вопросу о внесудебных казнях Кристофер Хейнс впервые публично и на таком высоком уровне поставил вопрос о потенциальных угрозах БАРС для жизни и здоровья людей в условиях войны, международной безопасности, а также перспективах распространения на БАРС международно-правовых норм, регулирующих применение различных вооружений. Доклад стал отправной точкой для дальнейшего развития дискуссии об автономных боевых роботах на площадке различных структур ООН, разметив ключевые реперные точки и вопросы этой дискуссии:

1. Ограничение понятия: боевые автономные роботизированные системы (БАРС) представляют собой системы оружия, которые после приведения их в действие способны выбирать и поражать цели без последующего вмешательства оператора (человека).

2. В какой степени БАРС возможно программировать таким образом, чтобы при их применении обеспечивалось соблюдение требований международного гуманитарного права (МГП) и стандартов защиты жизни в соответствии с основными правами человека?

3. Ответственность в применении автономных вооружений: использование БАРС может являться неприемлемым ввиду того, что невозможно разработать сколько-нибудь адекватную систему правовой ответственности, а также по той причине, что роботы не должны наделяться способностью решать вместо людей вопросы жизни и смерти. 

4. Превентивное ограничение разработки и применения БАРС: рекомендация государствам ввести национальные моратории на аспекты функционирования БАРС, а также предложение учредить группу высокого уровня по вопросам БАРС для разработки в этой сфере международной политики.

Конвенция о "негуманном оружии"

2013 год вообще можно назвать прорывным: довольно большое количество международных организаций включило обсуждение проблематики боевых автономных роботов в свою повестку. В конце мая 2013 года члены Совета по правам человека ООН продолжили обсуждение этой темы с Кристофером Хейнсом, при этом из 36 правительств и других участников по крайней мере 22 затронули вопрос о БАРС. Примерно тогда же Международный Комитет Красного Креста (МККК) создал новое отдельное проектное направление деятельности, в пределах которого состоялись мероприятия по теме БАРС с участием государственных экспертов в 2014 и 2016 гг., а также круглый стол в 2017 г. Наконец, к дискуссии подключился Институт по исследованию проблем разоружения ООН (ЮНИДИР), проведя в рамках своей программы «Новые угрозы» семинар «Боевые автономные роботизированные системы». Этот семинар запустил актуальную и по сей день серию мероприятий ЮНИДИР, посвященную обсуждению новых технологий и видов вооружений (в частности, беспилотников и автономных роботизированных систем) в контексте их влияния на международный мир и безопасность.

Доклад стал отправной точкой для дальнейшего развития дискуссии об автономных боевых роботах

Можно с уверенностью утверждать, что в 2013 году был намечен ключевой формат проработки тематики БАРС в контексте международного права и международной безопасности. И принятые решения не могли не повлиять на структуру и содержание работы ООН. Вскоре после доклада Хейнса по инициативе делегаций Бразилии и Франции тема ограничения БАРС была перенесена из формата Совета ООН по правам человека в рамки работы над механизмом Конвенции о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие (далее – Конвенция о «негуманном» оружии, КНО). КНО представляет собой международно-правовой документ, который регулирует и ограничивает применение в конфликтах таких видов оружия, как наземные мины, мины-ловушки, зажигательное оружие и прочее (при этом не стоит путать КНО с отдельной Конвенцией о противопехотных минах). Дискуссии о Конвенции и ее соблюдении поднимают ряд дополнительных вопросов. К «телу» Конвенции прилагаются поправка и 5 протоколов по отдельным видам «негуманных» вооружений, так что список государств, поддерживающих и соблюдающих те или протоколы, несколько различается. В целом, по состоянию на июнь 2017 г., участниками конвенции являлись 124 государства, включая в том числе РФ.

Основные проблемы 

Ключевое и на данный момент наиболее актуальное решение по развитию трека БАРС в рамках разработки Конвенции о «негуманном» оружии было принято в конце прошлого года. На 5-й Обзорной конференции Конвенции 12–16 декабря 2016 года участники приняли решение учредить Группу правительственных экспертов (ГПЭ) ООН по БАРСОптимистично настроенные эксперты полагают, что их работа их работа позволит аккумулировать экспертизу и исследования по международно-правовым аспектам разработки и применения БАРС. А выводы, к которым удастся прийти, помогут сформулировать согласованные и глубоко проработанные инициативы по ограничению и правовой интерпретации военных роботизированных технологий. Заметим, что такой шаг выглядит совсем нелишним — ведь с 2013 года и до сих пор прогресс в этой дискуссии остается достаточно скромным. Содержательная плоскость обсуждений БАРС практически идентична для всех площадок: и в рамках Совета по правам человека ООН, и в пределах ЮНИДИР и МККК поднимается предельно схожий набор вопросов и тезисов, частично обозначенных в докладе Кристофа Хейнса, а также предлагается почти инвариантная логика их решения. О каких же вопросах и тезисах идет речь?

1. Необходима выработка четких критериев «автономности» системы вооружений и градации степеней такой автономности. Прежде всего, нужно определить, что такое автономность применительно к роботизированной системе вооружений, и чем такие системы отличаются от систем вооружений с высокой степенью автоматизации (highly automated weapon systems) — таких как, например, современные высокоавтоматизированные системы ПВО (C-RAM, Iron Dome, THAAD и российская С-400). Ключевым для определения системы как автономной признается ее способность выполнять «критическую» (смертоносную) функцию без прямого контроля и вмешательства со стороны оператора, то есть самостоятельно обнаруживать, идентифицировать и дифференцировать цель по признаку «свой–чужой» и — главное — осуществлять ее поражение.

2. Стоит обсуждать соотношение БАРС и систем с искусственным интеллектом (ИИ), а также перспективы интеграции сервисов и платформ с ИИ в системы вооружений. Речь идет о необходимости выработки общей терминологии и определения границ понятий ИИ, формулировании принципа ответственности разработчиков ИИ-модулей, предназначенных для систем вооружений. Еще один вопрос, поднимаемый в этом контексте: в какой степени предлагаемые нормы и другие меры по ограничению БАРС могут распространяться на системы без ИИ (т.е. просто высокоавтоматизированные/полуавтономные системы)?

При каких условиях БАРС на поле боя могут нарушать акты международного гуманитарного знания?

3. Отдельного обсуждения заслуживает проблема адаптации международного гуманитарного права (МГП) к применению БАРС в условиях международных и не международных военных конфликтов. В частности, необходимо определить, при каких условиях БАРС на поле боя могут нарушать Дополнительные протоколы к Женевским конвенциям, а также другие акты международного гуманитарного знания (в частности, применимы ли к БАРС понятия комбатантов/нонкомбатантов, относятся ли БАРС к избирательным средствам поражения цели? а, может быть, соответствуют критериям негуманных вооружений и проч.). За время дискуссий вокруг Конвенции о «негуманном» оружии эксперты смогли прийти к определенным результатам. Например, признали «применимость к смертоносным автономным системам действующих положений международного гуманитарного права и необходимости сохранения за ними контроля со стороны человека». Но это общие нормы, которые — ровно как и в случае с аналогичными выводами другой Группы правительственных экспертов по применимости Устава ООН и норм международного гуманитарного права к информационным технологиям и киберпространству — не дают ответа на ключевой вопрос: как именно соответствующие статьи международно-правовых документов должны «читаться» применительно к БАРС?

4. Следует более широко поставить вопрос о контроле человека над БАРС (meaningful human control). В частности, требуют решения следующие вопросы: как определять и квалифицировать сам контроль? по каким признакам оценивать его достаточность и эффективность реализации в системе? Особенно мало ясности в этом вопросе в отношении уже широко распространенных полуавтономных систем (human-on-the-loop): контроль со стороны оператора может быть заложен в отдельные звенья алгоритма принятия решения, но достаточен ли он по отношению к циклу принятия решения в целом? Скажем, если полуавтономная система ПВО производит распознание, захват цели, оценивает исходящую от нее угрозу (например, фиксирует высокую опасность удара вражеского бомбардировщика по густонаселенному сектору) и запрашивает подтверждения поражения цели у оператора в течение 10 секунд, достаточен ли контроль оператора над этапами процесса, что выполняются машиной и ограничивают опции его собственного решения? Вводные данные, на основании которых запрашивается активация «критической» функции, собраны самой системой — так что оператор не может перепроверить их в силу ограниченного времени на принятие решения.

Помимо этих сомнений существуют и многие другие, и пока не слишком понятно, насколько успешно получится разрешить их в рамках дискуссий Группы правительственных экспертов по БАРС, и как воспримут рекомендации ключевые державы, развивающие программы по созданию военных роботизированных систем. 

Типология роботизированных систем

При этом для всех форматов обсуждений в рамках дискуссий о критериях и степени автономности роботизированных систем вооружений устоялась следующая базовая градация:

1. Системы с полным с дистанционным контролем оператора — здесь оператор является центральным и необходимым звеном в петле контроля принятия решений (man-in-the-loop). Эти системы не являются в строгом смысле слова роботизированными, скорее это просто вооружение с реализованными возможностями удаленного контроля. О том, насколько такие возможности не новы и далеки от искусственного интеллекта (ИИ), дает представление следующий пример: вооружения, полностью подпадающие под категорию man-in-the-loop, активно применялись еще во время Второй мировой войны. Так, в СССР были построены т.н. «телетанки» (безэкипажные танки, управляемые на небольших расстояниях дистанционно через радиоканал) проектов ТТ-18 и ТТ-26 на основе серийных легких танков Т-18 и Т-26 соответственно. У Германии на фронте применялись гусеничные самоходные мины «Голиаф» (Sonder Kraftfahrzeug), управляемые по проводу на расстоянии. С другой стороны, под эту категорию подпадает огромное количество видов и семейств существующих вооружений, включая авиабомбы и ракеты с корректируемой траекторией.

Сибил Тауз. «Медея и Талос». Иллюстрация к книге "Истории о богах и героях» Томаса Булфинча. 1920

Wikimedia Commons

2. Полуавтономные системы — оператор участвует в принятии решений, но лишь на отдельных звеньях алгоритма; на остальных этапах решение принимает система на основе анализа поступающих внешних данных (man-on-the-loop). Большинство из сложных передовых систем вооружений сегодня попадают именно в эту категорию. К ней относятся упомянутые выше системы ПВО (захват, идентификация и сопровождение цели выполняются системой самостоятельно, решение о поражении цели принимает и передает системе человек-оператор). Другой пример — современные БПЛА (беспилотные летательный аппараты), способные самостоятельно корректировать скорость, высоту и другие параметры полета. Сам маршрут и «полетное задание» формируются, отслеживаются и по мере необходимости корректируются удаленным оператором на базе. По сути, именно такие системы — передний край технологических возможностей оборонной индустрии на сегодняшний день, и сами они как правило не способны выполнять «критическую» (смертоносную) функцию. Однако уже в ближайшие годы ограничения на создание и применение таких технологий будут опираться все больше на этические, а не технологические факторы.

3. Полностью автономные системы — оператор-человек исключен из системы принятия решений и не участвует даже в поражении цели (man-out-of-the-loop). ООН, МККК и остальные участники дискуссии рассматривают БАРС и проблематику реальной автономии систем вооружений именно в контексте этой группы систем. Парадокс в том, что сегодня такие системы реально не стоят на вооружении ни одной из армий, несмотря на то, что проекты по их разработке ведет все большее число государств (в том числе США, Великобритания, Германия, Израиль, КНР, РФ, Япония и другие).

Проблемы. Трудности. Барьеры

Одно из государств, активно работающая с программами по развитию БАРС — Россия, которая еще в 2013 году поддержала решение о переводе обсуждения тематики смертоносных автономных систем на площадку дискуссий по Конвенции о «негуманном» оружии. При этом Россия не поддержала решение о создании Группы правительственных экспертов по БАРС, но и не стала его блокировать, оформив свою позицию «в качестве особого мнения о целесообразности сохранения прежнего неформализированного характера дискуссии», т.е. диалога в рамках Обзорных конференций и ежегодных встреч по обсуждению Конвенции. 

Пожалуй, самым ценным в позиции России, оформленной отдельным документом к первому заседанию Группы правительственных экспертов по БАРС (прошло в Женеве 10-12 ноября 2017 года), стало четкое перечисление тех проблем, которые накопились в экспертной проработке темы на данный момент:

1. Общая проблема: сырой, непроработанный и противоречивый характер дискуссии, неспособность продвинуться существенно дальше базовых концепций и определений («Неформальные дискуссии существенно не продвинули понимание смертоносных автономных систем как предмета возможных договоренностей и не сняли сохраняющиеся сомнения относительно реализуемости глубокой проработки этой темы»).

Вырабатываются превентивные нормы запрета на реализацию несуществующей технологии

2. Основная субстантивная проблема: отсутствие реально работающих образцов полностью автономных систем роботизированных вооружений, на ограничение и регулирование которых направлен весь формат. Подчеркивается, что де-факто все созданные и тестируемые системы пока не выходят за рамки парадигмы man-on-the-loop, а потому складывается парадоксальная ситуация, когда обширный трек межправительственного обсуждения посвящен выработке норм превентивного запрета на реализацию технологии, что не очень разумно с точки зрения здравого смысла и управления приоритетами в международной повестке дня.

3. Конкретный кейс в рамках вышеупомянутой проблемы — частое приведение в пример в Протокола 4 Конвенции об ослепляющем лазерном оружии как образце разумного превентивного запрета военной технологии. По мнению МИД РФ, этот кейс «вряд ли может быть применим к работе по смертоносным автономным системам , т.к. данный документ, как известно, запретил не само лазерное оружие, а предельно конкретный случай его применения — для причинения постоянной слепоты органам зрения человека». Критика выглядит вполне разумной, поскольку ниша высокоавтоматизированной и интеллектуальной робототехники несравнимо шире ниши лазерных технологий, не говоря даже о конкретных их применениях.

4. Наконец, еще один существенный барьер — трудность проведения четкого «водораздела» между гражданскими и военными разработками автономных систем, базирующихся на одних и тех же технологиях. Представители РФ справедливо усматривают здесь риски избыточного ограничения развития гражданских, мирных технологий робототехники и ИИ. Любопытно, что похожая проблема существует и в рамках треков Группы правительственных экспертов по космосу и киберпространству.

Несмотря на жесткость критики, эти пункты российской позиции выглядят весьма конструктивными для дальнейших обсуждений «боевых роботов», поскольку указывают на слабые места в только формирующемся концептуальном подходе к ограничению функционирования автономных боевых систем.