导读：随着人工智能的快速发展和应用，其军事化步伐也在加速。那么，当前各国在人工智能军事化领域有哪些进展？人工智能的战场运用会存在哪些争议？自主武器会带来更多的平民伤亡，还是会像精确制导武器一样减少平民伤亡呢？我们又该如何应对这些伦理问题？
针对这些问题，宾夕法尼亚大学(University of Pennsylvania)政治学副教授迈克尔·c·霍洛维茨(Michael C. Horowitz)和新美国安全中心(Center for a New American Security)高级研究员保罗·沙瑞尔(Paul Scharre)在本文中进行了解读，主要从以下四个方面展开讨论：
人工智能技术不断取得突破
人工智能从科幻走向战场
自主武器的伦理争议
破除自主武器伦理困境的几点思考
本文原载于《纽约时报》2015年5月26日，笔者将其编译如下（部分内容根据最新情况有所删改），以飨读者。
2019年，《星际争霸II》人机大战中人类1:10输给AI
21世纪初期，在大规模GPU服务器并行计算、大数据、深度学习算法和类脑芯片等技术的推动下，人类社会相继进入互联网时代、大数据时代和人工智能时代。当前，人工智能的基础技术正在不断发展，以机器学习为代表的人工智能第三次浪潮正在蓬勃发展，语音识别、计算机视觉、自然语言处理、人机交互、机器人等领域不断取得突破。其中，深度学习是近10年机器学习领域发展最快的一个分支，由于其重要性，三位教授（Geoffrey Hinton、Yann Lecun、Yoshua Bengio）因此同获图灵奖。在这一过程中，人工智能也在人类智慧领域不断攻城略地。回顾上个世纪末至今人工智能的几个标志性事件，不难发现这种技术加速发展的趋势。1994年，人工智能Chinook击败人类国际跳棋世界冠军；1997年，深蓝计算机击败国际象棋人类冠军卡斯帕罗夫；2015年，一套人工智能算法根据纯图像输入精通了Atari 2600游戏；2016年，AlphaGo在围棋人机大战中以绝对优势获胜，AlphaAI在模拟空战争战胜人类顶尖飞行员；2017年，AI程序Libratus在德州扑克项目（非完全信息博弈）中击败人类顶级玩家，Alpha Zero；F18成功实现空中投放103架无人机蜂群；2018年，OpenAI Five在Doda2游戏中击败人类顶级玩家团队；2019年，Alpha Star 以10：1的绝对优势战绩击败“星际争霸II”的世界顶级职业选手。
同时，我们也不难看出，人工智能在一些领域（如速度和精确度）拥有人类难以比拟的优势。以游戏为例，2018 年 6 月，人工智能研究公司OpenAI提出的OpenAI Five在在即时计算机策略游戏“刀塔2”（DOTA 2） 5v5 多人对局中击败了由前职业玩家、游戏解说组成的天梯 6000 分级别战队。DOTA2 是目前全球最为流行也最复杂的电子竞技游戏之一。而通过自我对抗学习，OpenAI Five 每天相当于玩人类玩家 180 年的游戏。在比赛中，人工智能展现出了超越人类的精准度和攻击性。一位观察家评论道：“通常情况下，人类赢得一场战斗后会稍微放松警惕，等待敌方战队撤退并重新集结。但机器人不会这样，他们一旦找到可以大开杀戒的机会，会即刻进行搏杀。”2019年初，由DeepMind构建的人工智能算法AlphaStar击败了《星际争霸Ⅱ》的顶级人类选手MaNa和TLO。不同于围棋，《星际争霸Ⅱ》是一款即时战略而非回合制的游戏，玩家的信息隐蔽性和移动自由性较围棋更高。这些技术虽然目前只运用于游戏中的对战，但随着技术的不断进步，日后战场上也必然会有用武之地。而当今更引人注目的是，目前很多的人工智能技术已经走向战场。
有关机器人的科幻电影中，很多都以自主系统脱离人类控制或人类与机器进行对决为叙事主题。例如，从《2001：太空漫游》（2001：A Space Odyssey）中的人工智能超级电脑“哈尔9000”（HAL 9000）到《机械姬》（Ex Machina）中的“艾娃”（Ava），无出其右。此外，《复仇者联盟2:奥创纪元》（Avengers: Age of Ultron） 讲述了漫威漫画公司的超级英雄们与人工智能驱动的决心摧毁人类的邪恶机器人战斗的故事。《终结者》系列电影也不断展现着萨拉·康纳和约翰母子作为人类抵抗大军的代表，与人工智能系统“天网”及其指导的“终结者”机器人斗争的故事。“天网”拥有了自我意识，并确认人类的存在是对它的威胁后，便决定消灭全人类，策划发动了全球核战争并启动“审判日”。而人类抵抗大军在约翰的领导下，通过穿越等方式不断去阻止这一天的来临。
美国防部“Maven”计划旨在利用人工智能挖掘高价值情报
尽管有感知能力的军事机器仍然存在于科幻小说和电影中，但一些自主武器在今天的技术上已经成为可能。自主武器与无人机不同。一架无人驾驶飞机由一个人远程操控，这个人决定发射武器。相比之下，自主武器是一种一旦激活，就可以自主选择和攻击目标的武器。
目前，很多国家已经在尝试将人工智能用于军事领域。2015年，时任国防部长查克·哈格尔（Chuck Hagel）推出“国防创新倡议”（Defense Innovation Initiative, DII），正式提出了美军的“第三次抵消战略”，其中的核心内容便是推动人工智能为核心的颠覆性技术提升机器人和战场网络自主性。美国国防部高级研究计划局（DARPA）已推出了“终身机器学习”、“小精灵”、“指挥官虚拟参谋”、“可解释的人工智能”等多个与人工智能相关的研发项目。此外， 2017年4月，美国防部推出了成立“算法战跨职能小组”（Algorithmic Warfare Cross-Functional Team , AWCFT）的“专家”项目（Project Maven），旨在研发和部署能够自动处理、利用和传输无人机数据的算法，将人工智能用于国防情报搜集和分析领域，着力推进“算法战争”。2017年12月，该项目已经与六家公司合作开展算法研究并交付了首个算法，配备于美军在中东和非洲地区使用无人机作战的特种作战部队，最终有望集成至各军兵种的人工智能系统。据美国《防务系统》网站2019年底报道，美国算法战跨职能小组已经开发出四套智能算法，预计将很快投入实战应用。美国国防部2018年6月宣布成立联合人工智能中心(JAIC)，以促进美国军事工业在AI技术实际应用的能力。JAIC负责人为美国空军中将John N.T. “Jack” Shanahan，研究的重点领域包括情报探知、预测性维护与供应、救灾和人道主义援助以及网络空间等领域。美国国会研究处(Congressional Research Service)发布的“人工智能与国家安全”白皮书中也明确指出，“人工智能已经被纳入在伊拉克和叙利亚的军事行动中。”除美国外，俄罗斯军事工业委员会（Russian Military Industrial Committee）计划在2025年之前实现俄军装备30%的机器人化。韩国国防部也表示将在2020年之前投入75亿韩元用于推动人工智能在情报侦察、指挥控制等领域的运用。
发射地狱火导弹击毙苏莱曼尼的美军MQ-9“死神”无人机
近年来，许多地缘政治事件也凸显了机器人武器的重要价值。2018年1月，叙利亚叛乱分子使用13架无人机向俄罗斯一个空军基地发动攻击，俄罗斯人利用防空导弹击落7架，使用电子战对抗手段迫使其余6架着陆。虽然13架无人机全部折损，但从某种程度上来说，这也预示着机器人技术广泛扩散的危险。无独有偶，2018年5月，俄罗斯在叙利亚部署了Uran-9地面无人车，其他机器人武器也将全面投入战场。据报道，由于部署时间不长，这些无人车表现欠佳，经常在战场上与操作员失去联系。但毋庸置疑，俄罗斯军方会吸取经验教训，对未来的机器人武器加以改进，使其具备更强的自主作战能力。此外，俄罗斯并不是使用无人机武器的唯一个例。2018年8月，委内瑞拉总统尼古拉斯·马杜罗（Nicolas Maduro）险遭无人机暗杀事件，更凸显了非国家行为体使用简单机器人武器的可怕能力。袭击者使用的是可携带一公斤炸药但零售价仅为5000美元的DJI M600无人机。最近的一个事件2020年1月3日，美军使用MQ9“死神”无人机发射地狱火反坦克导弹，在数千米高空准确击杀了伊朗圣城旅司令苏莱曼尼，展现了一次完美的“定点清除”行动，引起中东乃至世界的轩然大波。这些真实发生的事件都在不断凸显着无人武器正在不断走向战场。可以这么说，每过去一个月，我们就离无处不在的机器人武器塑造的世界更近一步。
2013年以来，致命性自主武器系统（LAWS）逐渐成为国际军控热点议题，而联合国《特定常规武器公约》（CCW）会谈机制已成为其中的核心平台，召开了三次非正式专家会议和三次正式政府专家组会议。2015年4月中旬，90个国家和数十个非政府组织代表在日内瓦参加《特定常规武器公约》的会议，讨论致命性自主武器系统带来的挑战，一个由50多个非政府组织组成的团队呼吁实施先发制人的禁令。主张禁止自主武器的人经常声称，目前的技术还不足以可靠地区分民用和军用目标，因此无法遵守战争法。在某些情况下，确实如此。但在其他情况中，就不那么清楚了。超过30个国家已经拥有自动防御系统来击落火箭和导弹。它们由人类监督，但一旦被激活，就无需进一步的人工输入就能选择和参与目标。这些系统工作非常有效，并且已经毫无争议地使用了几十年。
基于目前的技术水平，自主武器不应被禁止，但各国政府必须立即开始努力，确保军队以安全、负责任的方式使用自主技术，在使用武力时保留人类必要的的判断和责任。如果使用得当，赋予机器更大的自主权甚至可以减少战争中的伤亡。能够让自动驾驶汽车避免撞到行人的传感器和信息处理技术，也有可能让机器人武器在战场上避开平民。未来的传感器能够准确区分手持耙子的人和手持来复枪的人，而且做得比人类更好，这完全是可能的。
历史上，精确制导武器的发明与运用已经大大减少了战争中的平民伤亡。第二次世界大战期间，空对地炸弹有50%的机会落在目标半英里内，现在精确到5英尺内。这种制导技术在拯救平民生命方面发挥了巨大作用，以至于人权观察组织(Human Rights Watch)认为，在人口稠密地区使用非制导武器是一种战争罪行。
然而，即使自主武器能够准确地识别和攻击目标，它们仍然会引发安全、责任和控制问题。自动驾驶系统已经帮助飞行员在危险的天气条件下航行，有效减少人为失误。但是，使它们可靠的相同特性(即它们每次都精确地遵循自己的编程)在预期的操作环境之外使用时，可能会使它们变得脆弱。对于在编程范围之外的环境中运行的自主系统也是如此。
此外，军方也不太可能与竞争对手分享自己的算法，这增加了自主系统在战场上意外遭遇的可能性。就像2010年因自动高频交易算法而加剧的股市“闪电暴跌”一样，一场由自动系统之间无意的相互作用引发的“闪战”也有可能在某一天发生。
最重要的是，我们必须避免出现自主武器扩散导致军队领导人在道义上与战争成本划清界限的情况。应当明确，是人类而非机器才能做出攸关性命的决定。如果自主武器击中了错误的目标，发射它的人能否否认责任，指出他发射了自主武器，但没有选择那个特定的目标?
最近关于无人机的争论也提出了类似的问题。无人机驾驶员和飞机驾驶员或坦克驾驶员一样，应当对自己的行为负责。许多消息来源表明，无人机驾驶员并不表现出对战争的道德超然。令人担忧的是，自主武器可能导致人们不再觉得人应当对使用武力负有道德责任。
今天，如果一名战斗机飞行员发射了一枚导弹，他知道他要为此负责。这种导弹一旦发射，往往无法收回，自动锁定目标。如果结果被认为是非法使用武力，责任就会转向所发生的事情是不可预测的技术故障，还是飞行员应该预见的事情。
自主武器可能会在两方面使这一过程复杂化：一是由于武器过于复杂，以至于操作人员不知道它将如何运作；二是由于人类操作人员认为是武器而不是他们自己在进行杀戮。
2003年美军“爱国者”反导系统误击毁的F-18战机
我们必须认识到，自主系统是人们操作的机器，而不是独立的道德行动者。武器本身并不能遵守战争法。武器被人们以遵守或违反战争法的方式使用。这意味着，由于武器包含更大的自主权，人类操作员仍然有责任确保他或她所采取的行动是合法的。
确保人类的责任，而不仅仅是问责制，才是真正的挑战所在。当发生事故时，责任是一个重要的问题，不清楚谁该负责将会带来麻烦。真正的问题是，可能会出现一个“责任真空”——人们被自主武器杀死，但没有人显然应对杀戮负责。如果糟糕的训练或糟糕的系统设计导致操作员误解武器，就会发生这种情况。如果系统本身在现实环境中表现出令人惊讶的行为，甚至连设计者都无法预料到，这种情况也会发生。在这种情况下，很难将责任完全推给工程师。因为，可能是那些测试武器的人没有预料到这种情况。也可能是现实世界太复杂，无法预见每一个问题。
在2003年，美国具有高度自主性的爱国者防空系统，击落了两架友军飞机（一架英国龙卷风战机和一架美国海军F-18战机）。最终，没有人为此承担责任。部分原因是由于操作人员训练不佳，系统设计复杂，以及没有预料到的真实环境，这些因素共同造成了友军的伤亡。在这一问题上，阻止武器获得更多情报并不能有效解决问题。换言之，技术本身不是重点，重要的是作为人类的我们如何使用技术。
人类必须承担起道德责任，正视战争的恐怖——而不是把战争的控制权外包给机器。人们必须能保持对武力使用的有效判断，并有效控制武器系统的行为。我们不可能拥有本质上无法控制或极其不可预测的武器。射出一颗子弹后，你无法收回，但它的轨迹是可以预测的。关键是，要确保未来的武器不会像自动转向的子弹那样乱射。他们应该有足够的自主权来完成批准的任务——仅此而已。军队必须确保操作人员有信心采取合法行动，因为他们了解武器的能力、目标和环境。
拥有更大自主权的武器可能意味着更高的准确性和更少的平民伤亡。在此背景下，我们要做的不是放弃可能有用的技术，而是理解在什么地方仍然需要人类的判断，并强化必要的控制和责任。文字|迈克尔·C·霍洛维茨、保罗·沙瑞尔
图片|来源于网络
编译|龙坤（18874778237@163.com)
编辑|王雪妍
审阅 | Q、黄洋