人工智能武器的国际人道法规制： 中国学者的视角

人工智能一直是国际人道法的前沿话题。当系统通过算法自动得出指令，如何确保该指令符合法律规则？承担责任的应该是人还是机器？

针对人工智能在武器上的应用，我们曾向大家推荐过几篇来自西方学者的观点文章，今天我们来听听中国学者的声音。

人工智能武器的国际人道法规制：
中国学者的视角

作者：李强/谢丹

可以说，国际人道法的发展一直伴随着技术的进步。国际人道法的历史演进已经表明，任何新技术的采用都会给该法律体系带来诸多挑战。随着人工智能技术的出现，人类尝试将其运用于军事方面的趋势变得愈发明显。当应用于武器时，武器与人工智能技术的结合日益引起国际社会的关注。继网络攻击软件和武装无人机等高科技武器系统之后，各种类型的作战机器人也相继被研发出来并投入使用。人工智能技术不仅可能会显著提高现代动能武器的作战效能和毁伤威力，而且可能在战略谋划、战役组织和战术运用等方面部分替代甚至完全取代人工作业。 

人工智能武器

人工智能武器，也被称之为自主武器系统，ICRC将其定义为能够独立选择和攻击目标的武器，即在捕捉、追踪、选择和攻击目标的关键功能上具有自主性的武器。这类武器在法律和伦理方面已经引发了一系列问题。人们仍在争论今后是否应在战场上部署这种具有学习、推理、决策功能且无需人类干预即可独立行动的武器/武器系统。但在一切情况下，使用这类武器都必须遵守国际人道法的原则和规则。

使用前的法律审查

《第一附加议定书》（中国是该公约的缔约国）明确规定，在研究、发展、取得或采用新的武器、作战手段或方法时，缔约国有义务断定，在某些或所有情况下，该新的武器、作战手段或方法的使用是否为国际人道法或任何其他相关国际法规则所禁止（第36条）。具体而言，应使用下列标准评估新武器的合法性：

• 首先，新武器是否为《化学武器公约》《生物武器公约》或《某些常规武器公约》等专门国际公约所禁止？ 

• 其次，这类武器是否会引起过分伤害或不必要痛苦，或对自然环境引起广泛、长期和严重的损害？（《第一附加议定书》第35条） 

• 再次，这类武器是否可能拥有不分皂白攻击的效果？（《第一附加议定书》第51条）

• 最后，这类武器是否符合人道原则和公众良心的要求——马顿斯条款？（《第一附加议定书》第1条第2款）

这意味着人工智能武器必须被纳入国际人道法的法律框架，不存在任何例外。国际人道法的原则和规则应当且必须适用于人工智能武器。

使用期间的预防措施

人类会犯错误。机器同样如此，无论它们有多“智能”。既然人工智能武器是由人类设计、建造、编程和使用的，因其违法行为而产生的后果及法律责任就必须归因于人。人类不应以人工智能系统的“错误”为借口推卸自身的责任，否则就违背了法的精神和价值。因此，人工智能武器或武器系统不应被视为国际人道法意义上的“战斗员”而令其承担法律责任。在任何情况下，人工智能武器系统的“误击”都不是武器本身的问题。因此，在使用人工智能武器系统时，程序设计者及终端使用者负有法律上的义务，采取一切可能的预防措施确保其使用符合国际人道法的基本规则（《第一附加议定书》第57条）。

使用后的问责

如果说人类应为人工智能武器的使用负责，那么哪些人应当承担责任？是人工智能武器的设计者、制造者、编程人员还是操作人员（终端使用者）？

许多中国学者都认为，终端使用者应为人工智能武器的误击承担首要责任。这一主张源于《第一附加议定书》第35条第1款，该款规定“在任何武装冲突中，冲突各方选择作战方法和手段的权利，不是无限制的”。如果人工智能武器具有无需任何人类控制的全自主性，那些决定使用人工智能武器的人——通常是高级别的军事指挥官和文职官员——要为任何可能的严重违反国际人道法的行为承担个人刑事责任。而且，这些人的所属国还要为可归因于它们的严重违法行为承担国家责任。

此外，人工智能武器系统对目标的打击与其设计和编程密切相关。武器系统的自主性越高，其设计和编程的标准就应当越高，以符合国际人道法的要求。为此目的，应推动国际社会制定专门规制人工智能武器的新公约，诸如《某些常规武器公约》及其各议定书、《禁止杀伤人员地雷公约》和《集束弹药公约》那样。最低限度，在此种新公约的框架下，各国应对高自主性武器的设计和编程负责，那些未遵守相关国际法规定（如国际人道法和《武器贸易条约》）生产和转让人工智能武器的国家必须承担责任。另外，各国还应为设计者和编程者配备法律顾问。在这方面，现有的国际人道法难以充分应对这些新的挑战。有鉴于此，除了发展国际人道法规则，各国还应负责制定各自的国内法律和程序，尤其是透明度机制。在这个问题上，在人工智能技术方面走在前列的国家应发挥示范作用。

伦理方面

人工智能武器——特别是致命自主武器系统——也给人类伦理带来严峻挑战。人工智能武器不具备人类情感，因而其使用更可能导致违反关于作战手段和方法的国际人道法规则。例如，人工智能武器很难辨别一个人的作战意愿，或者理解某一具体目标的历史、文化、宗教和人文价值。因此，很难寄希望于人工智能武器能够尊重军事必要原则和比例原则。人工智能武器甚至会给平等、自由和正义等人类理念造成严重冲击。换言之，无论它们看起来多么像人，它们始终还是机器。让人工智能武器真正理解生命权的意义几乎是不可能的。这是因为机器可以被反复修理和编程，但人类的生命则只有一次。从这个角度来说，考虑到人工智能武器的高度的自主性，即便使用非致命性人工智能武器仍旧有可能，但高度致命的人工智能武器无论在国际法层面还是国内法层面都应全面禁止。应当承认，上述推理的说服力可能并不强，因为它本质上就不是一个法律问题，而是伦理问题。

结论

我们很难预测人工智能是否会全面取代人类从而出现所谓的机器人战争。但应当注意到的是，在获取人工智能技术的能力方面，各国之间有着巨大差异。对大多数国家而言，在军事上获得并利用这种技术仍然是一个遥不可及的目标。换言之，一些国家可能具备在战场上使用人工智能武器的潜力，但其他国家则没有。在这种情况下，就不可避免地需要评估人工智能武器本身及其使用的合法性，就需要诉诸国际人道法。结果可能就是，军事技术上的不平衡导致各国在解释和适用现有国际人道法规则方面出现分歧。尽管如此，要着重指出的是，国际人道法对人工智能武器系统的可适用性仍是毫无疑问的。

作者简介

李强

中国政法大学法学院副教授、硕士生导师

谢丹

中国政法大学教授、军事法研究中心研究员、硕士研究生导师

延伸阅读

○

关注我们

○

红十字国际委员会