【兰德】人工智能是如何使核战争风险增加的
人工智能能否颠覆1945年以来帮助世界免于核战争的核威慑概念？人工智能发展的惊人进步，加上无人驾驶飞机，卫星和其他传感器的激增，使各国发现并威胁彼此的核力量不断增加，从而加剧了局势的紧张。兰德公司分析了AI 影响核战争风险的情况，并给出了专家的建议。现概要翻译如下，供大家参考，下载PDF报告请点击“阅读原文”。
文章版权归原作者所有
观点不代表本机构立场
背景情况分析
人物：斯坦尼斯拉夫彼得罗夫中校
地点：在莫斯科郊外的秘密掩体内驻扎在指挥官的椅子上。
事件：那天晚上他的工作很简单：监控正在通过卫星数据筛选出的电脑，观察美国是否有发射导弹的迹象。1983年9月26日午夜过后，一声警笛从地堡的墙壁上响起。在他面前的屏幕上闪过一个单词。“发射。”
自从冷战初期以来，人们一直担心，在无法自知的情况下，电脑会因为出错而将人类引向濒临核灭绝的边缘。危险可能很快就不仅仅存在于科幻小说，而变为现实了。
人工智能的惊人进步创造出了能够学习和思考的机器，引发了世界主要核大国之间的新一轮军备竞赛。我们需要担心的不是好莱坞大片中的杀手机器人，而是计算机如何挑战核威慑的基本规则，并导致人类做出毁灭性的决定。
这就是兰德公司一篇新论文的前提，人工智能如何影响核战争的风险?这是兰德公司(RAND)内部一个名为“安全2040”(Security 2040)的特别项目的一部分，目的是要放眼未来，预见即将到来的威胁。
兰德公司(RAND)的工程师安德鲁·罗恩(Andrew Lohn)是这篇论文的合著者，他在人工智能方面的经验包括用它来控制无人机、识别鲸鱼叫声以及预测NBA比赛的结果。“如果我们不小心的话，相对简单的事情可能会加剧紧张局势，把我们引向一些危险的地方。”
故障，还是世界末日？
彼得罗夫说，他感觉自己的椅子像一个煎锅。他知道是计算机系统有问题。苏联人担心他们在与美国的军备竞赛中落后，在几个月前就已将其投入使用。现在它的屏幕上写着“高可靠性”，但彼得罗夫的内心却不这么认为。他拿起电话给值班军官。“假警报”,他说。突然，系统闪过新的警告:又一次发射，又一次发射，又一次发射。屏幕上的字闪着红光:“导弹袭击。”
要理解智能计算机如何增加核战争的风险，你必须了解一点，为什么冷战从来没有使得核战争变得如此激烈。有很多理论，但“有保证的报复”一直是基石之一。用最简单的话来说，这意味着：如果你揍我，我也会揍你。在核武器发挥作用的情况下，这种反击战可能毁灭整个城市，这是任何一方都不愿冒的风险。
自治系统不需要为了破坏稳定而杀人，更别提有可能发生引发灾难性的战争。
这个理论引出了一些看似违反直觉的结论。如果双方都有武器，可以经受住第一次袭击并反击，那么局势就稳定了。双方都不会冒险去打第一枪。如果一方失去反击能力，甚至认为自己可能失去反击能力，那么局势就会变得更加危险和不确定。它可能会通过制造新武器来恢复自己的优势。或者，它可能会决定，在它首先受到攻击之前，应该尽早出手。
这才是人工智能真正的危险所在。计算机已经可以扫描成千上万的监视照片，寻找人眼永远看不到的图案。想象一下，一个更先进的系统，可以接收无人机信息、卫星数据，甚至是社交媒体上的帖子，从而对敌方的武器和防御系统形成一个完整的了解，这将多么可怕。
一个可以在任何地方都能看到一切的系统，可能会让对手相信，它很容易受到第一次解除武装的攻击——它可能会失去反击的能力。那么对手将会想尽一切办法，重新找到平衡的新方法。这条路直接通向了核战争。
“自主系统不需要为了破坏稳定或增加灾难性战争可能性而杀人，”核安全专家兰德公司(RAND)的副政策研究员、论文合著者爱德华·盖斯特(Edward Geist)说。“新的人工智能能力可能会让人们认为，如果犹豫不决，他们将会失败。”这会让他们的手指更痒。在那时，人工智能将会使战争更有可能发生，尽管人类仍在控制之中。
一种直觉
彼得罗夫的电脑屏幕现在显示有5枚导弹向苏联发射。汽笛。彼得罗夫一手拿着电话给值班军官，另一只手里拿着对讲机。那里的技术人员告诉他，他们在雷达屏幕或望远镜上找不到导弹。这没有任何意义。为什么美国只用5枚导弹就开始了核战争?彼得罗夫拿起电话又说:假警报。
现在，电脑可以自学，虽然像学走路一样跌跌撞撞，会跌倒，但要学习，直到学会正确的方法。系统的神经网络模仿大脑的结构。最近，一台电脑在古老的围棋策略游戏“围棋”中击败了世界上最优秀的棋手之一。围棋的棋法如此陌生，却又如此有效，以至于人类棋手站起来，离开了房间，然后需要15分钟才能走出他的下一步棋。
俄罗斯最近宣布计划研制一种水下世界末日无人机，其弹头的威力足以使一个主要城市汽化。这种超级智能的军事潜力并没有被世界上主要的核大国忽视。美国已经试验了能够跟踪敌方潜艇数千英里的自动潜艇。中国已经展示了“群体智能”算法，可以让无人机集群发起攻击。俄罗斯最近宣布了一项水下世界末日无人驾驶飞机的计划，该无人机可以在大洋彼岸引导自己发射一枚足以使一座大城市气化的核弹头。
无论谁赢得了人工智能的优势，俄罗斯总统普京都说，“将成为世界的统治者。”特斯拉创始人埃隆•马斯克(Elon Musk)有一个不同的看法：他警告说，争夺人工智能优势的竞赛很可能是导致第三次世界大战的原因。
真相的时刻
斯坦尼斯拉夫·彼得罗夫(Stanislav Petrov)站在核战争的悬崖边上，经历了几个可怕的时刻。1983年年中，苏联确信美国正在准备一次核攻击。在他面前闪烁着红灯的电脑系统是它的保险政策，旨在确保如果美国发动袭击，苏联将有时间反击。但在那天晚上，它误读了从云顶闪烁的阳光。“假警报”。值班军官没有要求解释。他把彼得罗夫的消息转达给指挥系统。
研究人员得出结论，下一代人工智能将有破坏核安全基础的“重大潜力”。现在该是进行国际对话的时候了。在这种技术进步的时代，保持核和平需要每一个核大国的努力。它将需要新的全球机构和协议；敌对国家之间的新谅解；以及新的技术、外交和军事保障。
未来的人工智能系统可能会被证明是可靠、如此冷静、理性的，以至于它会让核末日时钟的指针倒退。毕竟，犯错是人之常情。一台不会出错、不会感到压力、没有个人偏见的机器，能够提供原子时代从未有过的稳定水平。
研究人员得出的结论是，这一时刻还远未到来，但从现在到那时的这段时间将尤其危险。更多拥有核武器的国家以及对人工智能(尤其是在其技术成熟之前)的日益依赖，可能导致灾难性的误判。到那时，一个中校为了停止战争机器上夜班可能已经太晚了。
斯坦尼斯拉夫·彼得罗夫(Stanislav Petrov)与核灾难擦肩而过的故事，让人们逐步意识到了引领技术变革的责任。彼得罗夫于2017年去世，他曾说:“我们比电脑更有智慧。”“我们创造了它们。”
未来将会怎样——三种观点
兰德公司的研究人员召集了一些顶尖的人工智能和核战略专家参加了一系列的研讨会。他们要求专家们想象一下2040年核武器系统的状况，并探索到那时人工智能可能成为稳定或不稳定的力量的途径。
观点一：对技术的怀疑
许多人工智能专家怀疑，到那个时候，这项技术是否能够在核决策中发挥重要作用。它将不得不克服其易受黑客攻击的弱点，以及为破坏其培训数据而采取的敌对行动——例如，通过不寻常的方式设置虚假先例。
观点二：核紧张局势将升级
但核战略专家的回应是，一个人工智能系统不需要完美地工作来引发核紧张。一个对手只需要考虑它的作用，并作出相应的反应。结果将是引发核武器竞争对手之间竞争和不信任的新时代。
观点三：AI学会胜利的行动不是闹着玩儿的
一些专家认为人工智能有朝一日可能会变得非常可靠，从而避免核战争的威胁。例如，它可以用来追踪核发展，并确保各国遵守不扩散协议。或者，它可以将人类从核对峙压力下的错误和错误决定中拯救出来。正如一位专家所说，未来的人工智能可能会得出这样的结论，就像1983年电影《战争游戏》(WarGames)中的电脑一样，核战争中唯一的制胜法宝就是不玩。
（全文完）
拓展阅读 兰德《人工智能对核战争的影响》
人工智能的“算法问责制”
当机器人开始杀人
2018美国人工智能安全委员会法
《美国机器智能国家战略》
《AI、政治战与俄罗斯》
【学术plus】 新添加号内搜索功能！快来试试！
进入公众号→点击菜单【智库扫描】→【搜搜文章】→输入关键词→一键检索文章。
声明：版权归原作者所有。文章观点不代表本机构立场。
《中国电子科学研究院学报》欢迎各位专家、学者赐稿！投稿链接
http://kjpl.cbpt.cnki.net
学报电话：010-68893411
学报邮箱：dkyxuebao@vip.126.com