【冰度】当机器人开始杀人

查看原文

其他

【冰度】当机器人开始杀人

From 学术plus 学术plus 2019-03-28

【学术plus】新添加号内搜索功能！

进入公众号→点击菜单【智库扫描】→【搜搜文章】

→输入关键词→一键检索您需要的文章。快来试试！

【兼职】神秘岗位正在向你招手，敢来么？

【厚度】学术plus年终巨献：2017年你不可以错过的重磅报告们！（全文阅读链接）

编者按

4月26日，《大西洋》网站刊发深度报道“当你的排爆机器人变成武器”，披露了美国大名鼎鼎的iRobot从军用机器人发家的历史细节，现全文编译仅供参考。英文原版您可点击“阅读原文”。文章版权归原作所有，不代表本机构观点。

全文5500字

阅读约需10分钟

2016年7月7日是约翰逊生命的最后一天，他据守在达拉斯社区大学的一幢建筑中，谈判人员进来之前他已经冲16个人开了枪。警察局长疲惫不堪，他失去了两名警官，还有9人受伤，其中3人后来伤重不治。7月7日早上2点半，警察局长要求特警队制定一个作战计划，不要再让让任何人闯入约翰逊的火力封锁区。

30分钟内，诺格公司制造的四轮机器人Mark 5A-1到达现场。Mark 5A-1最初是为了处理爆炸物而购买的。但那天早上警察在它的机械臂上绑了一磅C4炸药，并将其送到了约翰逊设防的走廊，炸弹迅即杀死了约翰逊，机器人一切正常。

约翰逊曾在阿富汗服过役，他也许在机器人引爆炸弹之前认出了这台排爆机器人。

大约20年前，一位名叫格瑞纳（Helen Greiner）的年轻机器人专家正在波士顿的一家科技公司演讲。格瑞纳20岁左右，金色的头发，还有一口幽默的英国口音。她展示了Pebbles的视频，Pebbles是一个亮蓝色的机器人。

多年来人工智能领域面临着一个问题：如何按照现实世界的规则制造机器人？一个严格执行程序的机器人很简单; 但为了处理不可预见的问题，程序员必须为每个可想象的场景编写指令。格瑞纳的老师布鲁克斯认为这种方法是死路一条。与其试图设计现实世界的模型，还不如直接把真实世界当模型用。如果你想让你的机器人在不碰触任何物体的情况下找到敞开的门，你不应该给它一个详细的房间地图，而是应该告诉它：直线前进！直到感觉到它前面有东西。这里有两个单独的目标：直行，别触碰东西，这其实无须在设计时进行协调，你可以设计两个独立工作的简单子系统，只要让“壁障子系统”在必要时能够覆盖“行进子系统”即可。

这种“包容性架构”让Pebbles既简单又专业。它的每个机载系统都是精简的，专为简单直接的任务而设计; 其对周围世界做出反应的能力来自其各部分的相互作用。

格瑞纳和布鲁克斯花了数年的时间设计制造适销对路的、实用的机器人。她通过类似的演讲展示她的作品，希望能激起听众的兴趣。在她演讲的过程中，格瑞纳注意到一个人似乎坐立不安：一个对机器人着迷的特种部队军官。他看着Pebbles的展示“我们必须把这些机器人送到空军学院，”他告诉格瑞纳。

很快格瑞纳就和其他机器人公司一道被邀请参加军方组织的演习，有了这个邀请，她看到了她期盼许久的机会：她的公司iRobot快要破产了“我们都担心资金，”她说。“到年底，估计我们连支付工资的钱都快没有了。”

她立即和工程师罗伯特，带着一个叫做ROAMS的加强型卵石机器人订了飞往丹佛的航班。罗伯特负责ROAMS项目，而她负责机械方面的工作：绘图，焊接，钻孔，增加了一个更好的相机，配上GPS（当时还是一种全新的技术），她在演习前熬夜赶工，在金属框架上手绘迷彩图案。

凌晨三点，他们开车到丹佛南部一个停车场，一群士兵从黑暗中显露身影，拿起了ROAMS，然后消失在夜色中。演习内容包括派遣机器人监视附近的飞行器和一些别的东西，所有这一切事先都没有告知附近山上的参演士兵。那个星期早些时候，有人去沃尔玛买了一打泡沫，用它们制作了一个挂着手绘标志的假核导弹：“你的盖革计数器现在已经没用了。”这是要让机器人必须足够抵近目标，以便将清晰的视频回传给基地。

高山沙漠的夏夜总是很冷。你甚至可以看到自己呼出的雾气映在派克峰的锯齿状轮廓与天空之间。罗伯特坐在黑暗中焦虑不安，ROAMS是他们的“实验室女王”，但这是一台为受控环境而建造的机器。很难保证它在海拔6000英尺以上的空军基地之外的草原上正常工作。自然景观干燥平坦，几乎没有任何特征，只有些许低兔毛和肥皂丝兰。这是种情况发生在一个冷漠，开放的国家，你不必感到惊讶。

演习结束时，士兵会见了格雷纳和罗伯特。他们给出了一个提示，要让机器人变成在野外可以用于军事实战的东西。最重要的是他们说下一次演习将会非常困难。“我们打算把它从C-130运输机上扔下去。”

显然ROAMS表现得不错。它可以在颠簸、开阔的地域中穿梭自如，而它运行温度很低，这意味着它在热成像上毫无痕迹，成功逃脱了“敌人”的检测。但真正的决定性因素是它很小，在政府资助的数百万美元的研究中，大多数军事机器人重达数千磅。ROAMS不到30磅，足以在地面移动而不引起注意。

几周后一位将军看到了ROAMS演习中的视频。“这东西出现的真他妈是时候，”他说。于是iRobot的财务困境期结束了，几个月后该公司从DARPA拿到了74万美元的合同，并在1998年增加了约120万美元。

格瑞纳的机器人将会比任何人预想的更成功。但他们越向军队证明他们的价值，军队就越是强调这台机器是用作军事目的，直到格瑞纳不得不面对一个意想不到的问题：当你为拯救生命而建造的机器人，变成了杀人机器会怎样？

随着致命性自主武器在全球范围内的扩大，这个问题愈发紧迫。机器人不仅仅是被动放置在进攻序列中，他们正在学习自己扣动扳机。

凭借像起重机一样的双轨，以及长长的机动头，PackBot看起来很可爱。这款机器人是ROAMS的最新版本：它可以在10英尺高处跌落水泥地面，配备全球定位系统，可以自主矫正姿势，爬楼梯。当格瑞纳12岁的时候，她对《星球大战：新希望》里的机器人感到着迷，对她来说这些作品，不管是军用的PackBot，还是家用的Roomba，都像莱亚和卢克身边的R2D2一样散发着魅力。

格瑞纳于1990年创办了iRobot，与她的教授布鲁克斯和另一位研究生科林加一起工作。她和伙伴们在马萨诸塞州萨默维尔的实验室里夜以继日的工作。在以前的生活中，这座大楼是作为一个屠宰场运作的。从屠宰场过渡到建造救生机器人的实验室似乎很合适。而波士顿正在从一个萧条的城市转变为世界知名的科学技术中心。

第一批PackBot原型机2002年在阿富汗部署，当Roomba在The Sharper Image和Brookstone等商店发布时，它们正在隧道内行驶，在狭窄的通道上滚动，寻找诱杀装置。它可以爬上楼梯，在泥土，岩石和雪地上行驶，并可以在距离近一公里远的地方进行控制。

伊拉克战争以及路边炸弹的出现，让机器人变得不可或缺。从2006年到2011年，伊丽莎白巴特勒上士担任空军爆炸物条例设备技术员，但与她之前的其他技术人员不同，巴特勒拥有秘密武器PackBot。巴特勒和她的两个队友在一辆装满枪支，防弹衣和机器人的卡车里工作。巴特勒戴着一个视频目镜，其上的显示屏以机器人视角给了她一个直接的视频反馈。她的控制器看起来与PlayStation几乎完全相同。随着她拇指的灵巧转动，她可以引导PackBot去检查，然后拆除一个简易爆炸装置。（巴特勒在爆炸物处理人员中的表现很突出：她从未损失过一台机器人。）

“人们不知道因为格瑞纳和她的工程师而挽救了多少生命，”珀迪告诉我。“他们是无名英雄。”我与国防部的一名成员进行了交谈，他统计了海军在战斗中被炸毁的机器人。从1997年到2012年，有260多台因爆炸而损坏的机器人。每一个机器人意味着至少避免了一个人的伤亡。而使用的机器人不仅包括海军，还包括空军，陆军和海军陆战队。珀迪估计机器人拯救了数千人的生命，因此甚至有一群士兵在他们的机器人被炸毁后非常难过，并试图为它举行葬礼。

到今年三月PackBot就20岁了，4000多台该型机器人已经投入使用。他们被世界各地的军队收购。它们用于9/11搜救工作，搜索福岛核电站，在辐射水平过高的地区在人员工程师的周围活动。

珀迪认为，PackBot的成功改变了军方对技术的思考方式。“PackBot有助于让军方认识到它可以自主完成任务，机器人能够比人们做得更好”

2007年国防部发布了第一部无人系统路线图，该路线图为所有军用机器人预算27亿美元。从2014年到2018年五角大楼为无人系统预算近240亿美元。“军队内部发生了一些重大变化，”前DOD官员Paul Scharre说，他帮助起草了该部门对自主武器系统的第一项指令。

五角大楼的官员们看到了一个未来，每个士兵都被增强了，人类和机器都达成一种共生关系。他们称之为“半人马战争”(centaur war)，这是罗伯特•沃克(Robert Work)所倡导的战略，他是美国国防部副部长，于2017年卸任。

在2015年的演讲中，沃克概述了机器与人类的共生，如何帮助美国弥补其对俄罗斯或中国等国家的人力资源不足。他认为半人马战争可能是新的核武器。

本文开篇的故事（即2016年达拉斯对峙）是机器人（含无人机）首次在美国本土杀人。而在美国之外，这已经发生十年了。在2000年中期，一群士兵管道将一个克莱莫地雷粘在一个小型监视机器人上，并将其送往伊拉克的一条小巷杀死了一名男子。这是士兵们第一次意识到为拯救生命而建造的机器人也可以终结生命。

在达拉斯或伊拉克事件中使用的机器人都不是由iRobot制造的，但该公司已经试用过武器化机器。iRobot宣称自己是在制造“平台”，任何人都可以为他们的机器人添加附加功能，例如盖革计数器，爆炸式“嗅探器”或面部识别相机。2007年iRobot发布了一款半自动机器人，该机器人配备了一种“金属风暴”枪，这把枪可以每秒发射16发。（人类射手平均每秒可以用AR-15发射约2发）机器人从未在野外投入实战，但这是该公司的转折点。

格瑞纳于2008年离开iRobot，前往CyPhy公司工作，直到最近她一直担任首席技术官。PackBot在没有她的情况下持续进化。Endeavor Robotics公司(iRobot公司专业生产军用机器人的子公司)最近创建了一个不需要操作员的版本。可在建筑物中绘制布局图，并标出高辐射、化学物质或敌方战斗人员的区域。他们也开发了一些武器化的版本。

虽然格瑞纳在这些设计之前就离开了，但是她认为他们会帮助士兵脱离危险，就像早期的PackBots帮助了爆炸物处理人员。“如果是我的儿子或女儿，我可不希望他们必须把头伸到角落里去挨上那么一下子，”格瑞纳告诉我。她为自己的遗产感到自豪：她制造了一台挽救生命的机器，她帮助拆除简易爆炸装置，那是现代战争中最具随机性和破坏性的力量之一。

格瑞纳和我接触过的其他人一样坚持认为，即便是以遥控的方式、只要扣动扳机的是人类，机器人武器化就是可取的。我一遍又一遍地被告知，那些纯自主机器人（自主识别目标并发动攻击而无须人类操作员的机器）将永远不会成为美国军队的一部分。

“我希望人们明白我们在美国的生活有多幸福，”国防部联合地面机器人技术部前负责人珀迪告诉我说。“因为我们的政府完全正确。我们遵守武装冲突的法律，我们永远不会让机器人负责下决定。”

奥巴马政府在2012年制定了为期五年禁令对自主武器的。去年特朗普政府维持该禁令。但是在白宫有一个自治武器的倡导者。作为总统特别助理的史蒂夫格罗夫斯为传统基金会撰写了一篇专栏文章，反对联合国禁止该技术的提议。

（拓展阅读：2018联合国“人工智能武器化”会议美国政府立场文件）

其他国家正在创造自主武器。以色列的哈比系统识别并攻击外国雷达，俄罗斯武器制造商卡拉什尼科夫去年夏天宣布将制造一种自动机枪。珀迪说：“技术幽灵已经不在瓶子里了”。但是她和其他各位国防部官员一样，都坚持认为美国制造的机器人永远不会自主攻击人类。

对格瑞纳，珀迪和国防部来说，自主决定杀死某人的机器人和被命令杀死某人的机器人，在道德上有着重要的区别。做出谁死亡的决定应该留给那些正在拉动触发器的人，即使他们远在千里之外。

这一切都让人觉得有点吊诡：机器人可以杀人，只要他们不做出军方所谓的“杀人决定”。与此同时工程师们正在研究技术，让士兵越来越远离战场。从某些角度看这是在挽救生命。

但是从他人看来事实并非如此。我们创造的世界中最奇怪的事情之一，是什么时候以及如何让一个人杀死另一个人。这些规则的关键（无论在战争中还是在公共安全中） 就是当有人试图杀死你时，你才有权杀死她。但是在一方根本不会面临死亡威胁、甚至不会感到痛苦的战斗中，这些规则变得不清楚，什么时候应该让机器人解除对手武装或直接杀人？

格瑞纳的新公司CyPhy成立至今已有十年。公司已经筹集了3000多万美元的风险投资。但即使在她的新角色中，格瑞纳也坚持了自己的军事根基。她无法详述细节，但表示“特种部队官员”告诉她，CyPhy的旗舰产品parc无人机能够挽救生命。美国军方使用无人驾驶飞机进行监视行动，并在危险的检查站进行警告，警示士兵们会有意外。

像PackBots一样，parc无人机作为平台运行。他们可以携带相机，监控设备，甚至手机网络助推器。他们每次可以在高处逗留数周，这使得他们非常适合监视或其他长期项目。他们已经在波士顿马拉松赛，波士顿赛道和7月4日期间被警方部署。甚至有人说将沿边界布设parc无人机。

格瑞纳设想未来parc无人机遍布全球数千个地方。它们最终将能够独立运作，收集距离地面400英尺以上的信息和图像。无人机可以使用这些信息来增加自己的智能，而不是替人类过滤数据，它们将成为比人类更有效的监视器，天空中一颗永不眨眼的自主之眼。

作为首席技术官，格瑞纳不负责制定CyPhy的业务战略。但她经常公开谈论无人机技术的愿景。在2015年波士顿TedX活动期间的一次演讲中，她表达了对人们恐惧无人机的些许烦恼。“我注意到人们对飞行机器人有点担心，”她对听众笑说。“我想改变这种说法。”

她穿着一件灰绿色的夹克在舞台上慢慢踱步，并点击着幻灯片：这是一架无人机的小巧整洁的外包装，下一张PPT是一个坐在电脑前的人（CyPhy已经实现了以无人机作为手机中继站），最后一张幻灯片是涩谷十字路口的图像。“一个飞行机器人看到一个人群中掉落的背包，”她的描述令人想起波士顿马拉松引爆的那种背包炸弹。“它可以俯冲下来，用它的爪子抓住它。”

许多专家认为现在制止致命性自主武器还为时不晚。去年来自全球的116家机器人公司签署了一封公开信，要求联合国禁止杀手机器人。iRobot，Endeavor和CyPhy Works都没有出现在名单中。

（全文完）

拓展阅读