首发 | 国际上是如何看待致命性自主武器的？（下）

导读：近年来，随着人工智能等技术的不断进步，无人军事平台的研究、开发和使用进展迅速，相关技术的武器化引发了人道主义关切。联合国《特定常规武器公约》（CCW)机制围绕致命性自主武器系统（LAWS)这一问题召开了多次会议，世界主要国家和非政府组织代表都在这一平台上阐述了本国在这一领域的立场。笔者根据官网公布的官方立场文件，将主要国家(地区）和非政府组织代表的主要观点进行综述，本文主要梳理了禁止杀人机器人运动、红十字国际委员会以及联合国特定常规武器公约政府专家组对于致命性自主武器系统的观点，供读者参考。

致命性自主武器系统（杀人机器人）概念图

一、“禁止杀人机器人运动”的观点

“禁止杀人机器人运动”(Campaign to Stop Killer Robots)是一个由非政府组织组成的全球联盟，致力于通过禁止开发、生产和使用完全自主的武器，确保在使用武力时保留足够程度的人为控制。该运动联盟认为，技术应该被用来赋予所有人权力，而不是将人类贬低为刻板印象、标签或仅仅是一种1和0的模式。随着数字化和智能化趋势不断发展，“禁止杀手机器人”联盟致力于确保人类控制武力的使用，呼吁在自主武器系统方面制定新的国际法，呼吁所有国家承诺立即谈判达成具有法律约束力的国际禁令，以确定如何以及在何处划定武器系统未来自主权的界限；指定对识别、选择和参与目标的关键功能以及对单个攻击的必要人为控制；通过国家政策和立法，以防止开发、生产和使用全自主武器。各国现在必须对武器系统中不受限制的自主性加以限制，确保人类生命的决定权不会交给机器。

该运动联盟倡议一项禁止完全自主武器的国际条约，应将禁止完全自主武器及其积极义务积极义务结合起来，并保留对使用武力的有意义的人类控制。通过在多边讨论和条约谈判中制定具体的语言和内容，条约应包括三类核心义务:维持人类对使用武力的有意义的控制的一般义务;禁止选择和打击目标的武器系统及其性质构成基本的道德或法律问题;以及特定的积极义务，以帮助确保在使用选择和参与目标的所有其他系统时，保持有意义的人为控制。截至2021年9月，已有超过来自65个国家共180个国际、区域和国家非政府组织加入了该运动。由于其众多的参与方和广泛的影响力，该运动也成为了国际上推动致命性自主武器军备控制最为活跃的非官方力量。

自2014年以来，已有90多个国家在联合国参与了关于完全自主武器的外交谈判。这些国家中的大多数现在认为有必要制定一项新的条约，以禁止或限制此类武器，并保留对武力使用的有意义的人类控制。一小部分军事大国，尤其是俄罗斯和美国，反对任何监管此类武器系统的努力。滞后于新的国际发展形势的措施难以奏效，反而可能有助于使完全自主武器合法化。现有的战争法是为人类而不是机器而制定的，必须予以加强，以确保问责制和适用于未来的国际法。一项新的条约将建立一种强有力的规范，将解除对使用武力的有意义的人类控制视为不可逾越的“雷池”。这将促使即使是最初没有签署该条约的国家和行为体也遵守该条约。

完全自主武器的支持者表示，这些武器将增加战场的速度和效率，能够在环境不安全的通信，可以拯救生命减少人类士兵的需要，提高定位精度，并作为一种威慑。但是，过去也有人对其他不分皂白的武器提出过类似的观点，比如地雷、集束弹药和核武器。这些武器在被人道主义裁军条约禁止之前曾造成数十万人死亡。数千名科技专家和数百家科技行业公司担心，完全自主武器难以预测和不可靠，容易受到黑客攻击或欺骗，而且无法做出复杂的决定，难以遵守国际人道主义联盟关于区分性、比例性和军事必要性的规范。这些武器对环境的反应常常出人意料，会增加士兵和平民的风险。要说改进武器精度，完全可以在不移除有意义的人类对使用武力的控制的情况下实现。因此，完全自主武器的潜在优势远远不及它们对国际法和安全构成的严重挑战。

目前，包括美国、以色列、韩国、俄罗斯和英国在内的高科技军队正在使用和开发一些人类控制水平不断下降的自主武器系统。令人担忧的是，随着各种可用的传感器和人工智能技术的进步，设计出无需任何有意义的人类控制就能瞄准和攻击的武器系统变得越来越有可能实现。如果这一自主趋势持续下去，人类可能会开始淡出某些军事行动的决策圈，只保留有限的监督角色，或只是设置广泛的任务参数。

此外，该运动从根本上反对允许机器确定在战场上或在警务、边境管制和其他情况下决定目标是谁或什么。这种影响深远的发展引起了一系列深刻的伦理、人权、法律、业务、扩散、技术和其他问题。虽然未来技术的发展尚不确定，但有充分理由相信，将更多的目标决策权下放给武器系统本身会削弱国际人道主义法的基本义务规则和国际人权法的应用，并且有足够的特殊性使未来技术有意义。

二、国际红十字委员会的观点

红十字国际委员会是（International Committee of the Red Cross）1863年2月9日由瑞士人亨利·杜南倡议成立。当时称为“伤兵救护国际委员会”，1880年改为现名。它是世界上最早成立的红十字组织，也是瑞士的一个民间团体。它完全由瑞士公民组成，并受瑞士法律的保护和约束，总部设在日内瓦。其最高权力机构是每年一次的全体大会，大会闭幕期间由执行局领导日常事务。该委员会的宗旨是在战争中行善。根据日内瓦公约的规定，该委员会得以中立团体的身份对战争受难者进行保护和救济，受理有关违反人道主义公约的指控，致力于改进和传播人道主义公约，与有关团体合作培训医务人员，发展医疗设备。红十字国际委员会(ICRC)强调，必须维持对武器系统和使用武力的人为控制，以确保遵守国际法并满足道德上的关切。现有的规则并不能完全解决LAWS所引发的人道、法律和道德关切，需要具有法律约束力的新规则来阐明国际人道法如何适用于LAWS的规制。新规则应规定对不可预测的自主武器系统予以命令禁止；基于根本道德关切，禁止使用杀伤人员的自主武器；对于未被禁止的LAWS，需要对其目标类型、使用时长、地理范围和规模、使用情形、人机互动的设计和使用进行限制。

红十字国际委员会官方文件指出，自主（机器人）系统基于与环境的交互作用而无需人工干预即可运行。这些系统引发了诸如“如何确保人类对其功能的有效控制?”以及“如何预见使用它们的后果?”环境和任务的复杂性越高，对直接人为控制的需求就越大，并且人们所能容忍的自主性就越少，特别是在涉及人员伤亡或财产损失风险的任务和环境中，换句话说，是安全性至关重要的任务。通过监督控制，人类可以对自主系统或特定功能施加一些控制，这意味着“人在回路上”的监督以及干预和停用的能力。这就要求操作员具备态势感知能力；足够的时间进行干预；通过进行干预(通信链路或物理控制)使在情况需要时收回控制权或使系统失效的一种机制。然而，由于存在诸如自动化偏差，操作员缺乏情境意识和道德缓冲之类的人机交互，“人在回路上”的控制机制并不是万能的。

可预测性和可靠性是关于武器系统自主性讨论的核心，因为它们对于遵守国际人道主义法和避免对平民造成不利影响至关重要。它们对于军事指挥和控制也是必不可少的。区分以下两点很重要：可靠性——衡量系统发生故障的频率的指标；和可预测性——衡量系统在特定情况下的性能的指标。可靠性是所有复杂系统的关注点，而可预测性是自主系统的一个特殊问题。狭义上的可预测性即知道系统运行和执行任务的过程与广义上的可预测性即知道将产生的结果，两者之间存在一定区别。此外，人类很难保证和验证自主系统的可预测性和可靠性。这两个因素不仅取决于技术设计，还取决于环境的性质、系统与环境的交互作用以及任务的复杂性。然而，对自主系统的运行设定边界或施加限制，特别是对任务、环境、运行时间框架和区域内的运行范围，可以使使用这种系统的后果更加可预测。

从广义上讲，所有的自主系统在一定程度上都是不可预测的，因为它们是由环境触发的。然而，软件控制系统复杂性的发展——尤其是那些基于人工智能和机器学习的系统——增加了狭义上的不可预测性，即系统运行的过程是不可预测的。许多机器学习系统以“黑箱”的方式运行，这使得用户很难(在许多情况下是不可能的)了解系统如何达到其输出。这类算法不仅不可预测，而且无论在设计上还是在使用上都存在偏差。此外，它们没有对它们的输出作出解释，这严重地增加了在使用它们方面建立信任的难度，并加剧了测试和验证自主系统性能的本已十分严峻的挑战。而人工智能和机器学习系统在对抗性欺骗或伪装方面的脆弱性，放大了在可预测性和可靠性方面的问题。

计算机视觉和图像识别是机器学习的重要应用。这些应用程序使用深度神经网络(深度学习)，其功能既不可预测也不可解释，而且这种网络可能受到偏见的影响。更重要的是，机器不像人类，它们对意义和前后情境无法理解，这意味着可能会犯人类永远不会犯的错误。此外，民用安全关键型自主机器人系统(如工业机器人、飞机自动驾驶系统和自动驾驶汽车)的行业标准对以下方面提出了严格的要求——人员监督、干预和停用;可预测性和可靠性和操作限制。人工智能和机器学习的主要开发人员强调，需要确保对敏感应用程序的人为控制和判断，并解决安全和偏见问题，特别是在应用程序可能对人们的生活造成严重后果的情况下。

所有自主武器系统都会因与环境的相互作用而表现出一定程度的不可预测性。通过对任务、操作时间段、区域和环境的作用域施加操作限制，可以在一定程度上缓解这种情况。然而，基于人工智能的软件控制的使用——尤其是机器学习，包括在图像识别中的应用——带来了固有的不可预测性、缺乏可解释性和存在偏见的风险。这加剧了红十字国际委员会对使用人工智能和机器学习来控制武器系统关键功能的后果的担忧，并引起了人们对其在用于目标的决策支持系统中使用的疑问。

对技术问题的回顾突出了对自主武器系统进行人为控制的困难，人工智能和机器学习的发展则使该问题更加棘手。ICRC强调，各国必须紧急开展工作，以建立对武器系统自主性的限制，各国应就确保遵守国际法和满足道德关切所需的人为控制的种类和程度达成一致。

三、联合国特定常规武器公约政府专家组的观点

《特定常规武器公约》全称《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》 (Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indsicrimiante Effects)，1981年4月10日在纽约开放签署，1983年 12月2日生效，无限期有效。截至2004年6月，共有94个缔约国。旨在禁止或限制使用某些被认为具有过分伤害力或滥杀滥伤作用的常规武器，涵盖了地雷、饵雷、燃烧武器、激光致盲武器以及战争遗留爆炸物的清除。

公约包括序言和11条正文，并附有 5个议定书。公约主要内容是：武装冲突各方选择作战方法和手段的权利并非毫无限制，禁止使用可能引起过分杀伤或不必要痛苦的武器、弹药和作战方法，务必使平民和战斗员无论何时均受人道原则、公众良知和既定惯例的保护。《第一议定书》，即《关于无法检测的碎片的议定书》，禁止使用其主要作用是以碎片伤人且碎片在人体内无法用X射线检测的任何武器。《第二议定书》，即《禁止或限制使用地雷(水雷)、饵雷和其他装置的议定书》及其《技术附件》，对地雷(水雷)、饵雷等武器的使用作出限制。1996年得到修订，进一步限制地雷的使用和转让，规定所有杀伤人员地雷须具有可探测性，所有遥布杀伤人员地雷须具有自毁和自失能功能。1998年12月生效。《第三议定书》，即《禁止或限制使用燃烧武器议定书》，对燃烧武器的使用作出了规定。《第四议定书》，即《激光致盲武器议定书》，禁止使用以致人眼永久性失明为作战目的的激光武器。《第五议定书》，即《战争遗留爆炸物议定书》，主要包括清除“战争遗留爆炸物”(ERW)等“战后一般性补救措施”，和提高弹药可靠性等“一般性预防措施”的自愿性“最佳操作规范”。

近年来，致命性自主武器系统已经成为这一机制的热点讨论话题，围绕这一议题召开了多次正式会议，并成立的专门的政府专家组(Group of Governmental Experts on Lethal Autonomous Weapons Systems ，简称GGE on LAWS)。目前，《公约》下列缔约方已经参加了会议相关工作：阿富汗、阿尔巴尼亚、阿尔及利亚、阿根廷、澳大利亚、奥地利、巴林、白俄罗斯、比利时、巴西、保加利亚、布基纳法索、加拿大、智利、中国、哥伦比亚、哥斯达黎加、科特迪瓦、克罗地亚、古巴、塞浦路斯、捷克共和国、多米尼加共和国、厄瓜多尔、萨尔瓦多、爱沙尼亚、芬兰、法国、格鲁吉亚、德国、希腊、危地马拉、教廷、洪都拉斯、匈牙利、印度、伊拉克、爱尔兰、以色列、意大利、牙买加、日本、约旦、哈萨克斯坦、科威特、老挝人民民主共和国、拉脱维亚、黎巴嫩、立陶宛、卢森堡、墨西哥、摩尔多瓦、黑山、摩洛哥、荷兰、新西兰、北马其顿、挪威、巴基斯坦、巴拿马、秘鲁、菲律宾、波兰、葡萄牙、卡塔尔、大韩民国、罗马尼亚、俄罗斯联邦、沙特阿拉伯、塞内加尔、塞尔维亚、斯洛伐克、斯洛文尼亚、南非、西班牙、斯里兰卡、巴勒斯坦国、瑞典、瑞士、突尼斯、土耳其、乌克兰、阿拉伯联合酋长国、大不列颠及北爱尔兰联合王国、美利坚合众国、乌拉圭、委内瑞拉玻利瓦尔共和国。

此外，参与这一平台讨论的非政府组织包括：世界公民协会、禁止杀手机器人运动、大赦国际、第三十六条、公共政策协会、日本援助救济协会、国际安全和政策中心、德国和平协会、直面金融、人权观察、国际机器人军备控制委员会(机器人军备控制委员会)、加拿大地雷行动组织、诺贝尔妇女倡议、挪威和平基金会、和平会、爱尔兰基督和平会、弗兰德基督和平会、芬兰和平联合会、化剑铸犁促进会、保护社、帕格沃希科学与世界事务会议、意大利裁军网络、SafeGround公司，拉丁美洲和加勒比地区人类安全网络(拉加地区人类安全网络)、国际创价学会，斯德哥尔摩国际和平研究所、可持续和平与发展组织、国际妇女争取和平与自由联盟、新美国安全中心、良心程序员、未来生活研究所、信通技术促进和平基金会、可信自主系统防御CRC和日内瓦UNHR。实体机构具体有：伯明翰城市大学、剑桥大学、查尔斯大学、CNA自主性和人工智能中心、日内瓦安全政策中心、日内瓦研究生院、哈佛法学院、广岛和平研究所、汉堡大学和平研究与安全政策研究所、管制自主武器国际小组、明治大学全球武器转让历史研究所、爱尔兰国立高威大学、丹麦皇家国防学院、圣玛丽大学贝尔法斯特学院、高冈法科大学、坦佩雷大学、特里尔大学、美国海军战争学院、里昂第二大学、西班牙General Gutierrez Mellado大学研究所、澳大利亚国防部队学院新南威尔士大学堪培拉分校、牛津大学、朴茨茅斯大学、昆士兰大学、圣加伦大学、德国武装部队大学、巴勃罗·德·奥拉维德大学(塞维利亚)和维也纳外交学院。

目前，针对致命性自主武器系统领域的新技术问题政府专家组已确认以下指导原则：

国际法，特别是《联合国宪章》和国际人道主义法(国际人道法)以及相关的伦理观念，应成为指导专家组继续开展工作的指南。致命性自主武器系统领域的新技术可能给国际人道法带来挑战，专家组确认了以下几点原则。

1. 国际人道主义法继续完全适用于所有武器系统，包括致命性自主武器系统的可能开发和使用；

2. 人类仍须对武器系统的使用决定负有责任，因为不能把责任转嫁给机器。应在武器系统的整个寿命周期里考虑到这一点；

3. 可以采取各种形式、并在武器生命周期的各个阶段实施的人机交互，应确保对基于致命性自主武器系统领域的新兴技术的武器系统的潜在使用符合适用的国际法，特别是国际人道法。在确定人机交互的质量和程度时，应考虑一系列因素，包括作战环境，以及整个武器系统的特点和能力；

4. 应确保根据适用的国际法在《特定常规武器公约》的框架内对发展、部署和使用任何新武器系统问责，包括使这类系统在人类指挥和控制的责任链中运作；

5. 在研究、发展、取得或采用新的武器、作战手段或方法时，国家有义务按照国际法确定，该新武器、作战手段或方法的使用在某些或所有情况下是否为国际法所禁止；

6. 在发展或取得基于致命性自主武器系统领域新技术的新武器系统时，应考虑到实体安保、适当的非实体保障(包括针对黑客攻击或数据欺骗等网络安全问题)、落入恐怖主义团体手中的风险和扩散的风险；

7. 风险评估和减小风险的措施应成为任何武器系统新技术的设计、发展、测试和部署周期的组成部分；

8. 致命性自主武器系统领域新技术的使用应考虑到须信守国际人道法和其他适用国际法律义务；

9. 在拟定可能的政策措施时，不应使致命性自主武器系统领域的新技术人格化；

10. 在《特定常规武器公约》范围内讨论和采取任何可能的政策措施都不应阻碍智能自主技术的进步或和平利用；

11. 《特定常规武器公约》提供了适当的框架，可在《公约》的目标和宗旨的范围内处理致命性自主武器系统领域新技术的问题，力求在军事必要性和人道主义考虑之间求得平衡。

参考文献

1. Possible outcome of 2019 Group of Governmental Experts and future actions of international community on Lethal Autonomous Weapons Systems Submitted by Japan, https://www.unog.ch/80256EDD006B8954/(httpAssets)/B0F30B3F69F5F2EEC12583C8003F3145/$file/CCW_+GGE+.1_+2019_+WP3+JAPAN.pdf

2. Implementing International Humanitarian Law in the Use of Autonomy in Weapon Systems Submitted by the United States of America, https://www.unog.ch/80256EDD006B8954/(httpAssets)/518CBFEFDDE93C21C12583C8005FC9FA/$file/US+Working+Paper+on+Implementing+IHL+in+the+Use+of+Autonomy+in+Weapon+Systems.pdf

3. Potential opportunities and limitations of military uses of lethal autonomous weapons systems Submitted by the Russian Federation https://www.unog.ch/80256EDD006B8954/(httpAssets)/B7C992A51A9FC8BFC12583BB00637BB9/$file/CCW.GGE.1.2019.WP.1_R+E.pdf

4. Group of Governmental Experts of the High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects Position Paper Submitted by China, https://www.unog.ch/80256EDD006B8954/(httpAssets)/E42AE83BDB3525D0C125826C0040B262/$file/CCW_GGE.1_2018_WP.7.pdf

5. EU Statement on Lethal Autonomous Weapons Systems (LAWS)  Group of Governmental Experts  Convention on Certain Conventional Weapons ，Geneva, 13-17 November 2017， https://eeas.europa.eu/delegations/un-geneva_en/49820/Convention%20on%20Certain%20Conventional%20Weapons%20-%20Group%20of%20Governmental%20Experts%20-%20Lethal%20Autonomous%20Weapons%20Systems

6. “禁止杀手机器人运动”（The Campaign to Stop Killer Robots）官网https://www.stopkillerrobots.org/members/

THE  END

文字 | 秦风

图片 | 来源于网络

编辑 | 原熙文

审阅 | 李铭典

友情支持 | NUDT战略研究俱乐部

“军事高科技在线”征稿啦！！

详情请戳👇👇👇

往期精彩