潜在危机：简述人工智能、重大危机与国家安全

点击蓝字 关注我们

报告信息

《潜在危机：简述人工智能、重大危机与国家安全》

报告来源：新美国安全中心（CNAS）

发布时间：2024年6月

2024年6月，新美国安全中心（CNAS）发布了文章《潜在危机：简述人工智能、重大危机与国家安全》（Catalyzing Crisis：A Primer on Artificial Intelligence, Catastrophes, and National Security）。

摘要✦

2022年11月ChatGPT的出现在全球范围内引发了对人工智能（AI）潜力和风险的巨大兴奋和恐惧。作为回应，一些AI实验室、国家政府和国际机构启动了新的研究和政策努力，以减轻大规模AI风险。然而，不断增长的减轻这些风险的努力也产生了一系列分裂且常常令人困惑的辩论，关于如何定义、区分和优先考虑严重的AI危害。这种类别上的混乱可能会使政策制定者在辨别AI构成的威胁的独特特征和国家安全影响方面变得复杂——并妨碍解决这些威胁的努力。特别是，具有重大国家安全影响的新兴灾难性风险常常在公共话语中关于AI关注的两个主导讨论之间被忽视：一方面是与偏见和歧视相关的AI当前的系统性危害，另一方面是关于AI存在风险的未来导向辩论。本报告旨在：展示减轻AI灾难性风险对国家安全从业者日益增长的重要性、澄清AI灾难性风险是什么、介绍将最影响灾难性风险的AI安全维度。

不同风险的界定✦

（1）紧急情况是在地方一级对一个或多个个人的生命、福祉或财务健康构成风险的事件。地方官员通常有计划和程序来管理紧急情况的影响。人工智能相关的紧急情况可能是一辆自动驾驶汽车意外造成严重的道路碰撞，需要立即就医。

（2）灾害是涉及多人或大规模经济损失的事件，或两者兼而有之。地方危机管理资源无法充分管理灾害，需要周边地方、地区或国家政府的额外支持。与人工智能相关的灾难可能是自动化石油钻井平台系统的故障，导致数百万加仑的石油不受控制地泄漏到海洋中，与2010年深水地平线石油泄漏的程度相似。（3）重大危机是指在人员伤亡或经济破坏方面如此严重的事件，以至于一个或多个国家政府的危机管理系统无法完全处理其影响，导致关键需求未得到满足。重大危机不同于紧急情况和灾害，不仅在规模上，而且在其影响的性质上也不同，因为它们引起广泛和相互关联的社会、政治和经济影响，而这些影响是任何一个指挥和控制系统都无法控制的。人工智能相关灾难的一个例子是，利用人工智能开发出一种致命的、高度传染性的病原体，这种病原体消灭了一个国家的大量人口，类似于1918年西班牙流感的影响。（4）毁灭性灾害在范围上是灾难性的，威胁到人类物种的灭绝，比如如果一颗大型小行星与地球相撞，世界就会变得无法居住。在公共话语中，这类事件发生的风险通常被称为存在风险，但存在风险的定义还包括一组更广泛的场景，在这些场景中，一个事件可能不会完全消灭人类生命，但会“永久地、急剧地削弱”智能生命的潜力，或导致文明的不可逆转的崩溃明确地说，应对此类事件的影响超出了人类危机管理集体机制的能力。近年来，存在风险已经引起了学术界的相当大的关注，部分原因是受到牛津哲学家尼克·博斯特罗姆(Nick Bostrom)作品的启发，他认为存在风险应该得到更多的关注和资源围绕人工智能风险的一些术语的混淆源于对先进的未来人工智能系统作为人类生存威胁的大量关注。包括博斯特罗姆在内的几位理论家已经提出，如果一个或多个人工智能系统能够超越人类智能，那么这些系统的利益无法与人类的繁荣完全协调一致，可能会威胁到文明一些提议的场景表明，这些风险可能会以单一的灭绝级别事件迅速发生，而另一些则认为，随着人类将代理权和经济活力交给超级智能人工智能系统，这些风险可能会更渐进地灭绝或严重丧失权力尽管自ChatGPT发布以来，存在风险一直是围绕人工智能的公共话语中的一个突出问题，但专家们对这些风险的描述仍然存在激烈的争论。一些人认为，解决人工智能带来的生存风险是一个紧迫的优先事项，因为近年来人工智能的发展非常迅速，可靠地控制人工智能行为的挑战尚未解决，以及人工智能系统已经在社会中产生了相当大的影响其他专家不认为开发具有超人智能的人工智能的可能性或内在危险，并担心关注人工智能存在的风险是扭曲的，甚至本身就是危险的。

应对人工智能重大危机的必要性✦

AI相关紧急情况、灾害、重大危机和毁灭性灾难的风险都值得关注，因为AI技术正在成熟，但重大危机风险风险尤其与国家安全政策制定者相关，原因有几个。首先，鉴于灾难的影响超出了所有地方当局的响应能力，国家安全从业者承担着应对这类事件的主要责任。此外，重大危机的一个特征是其影响具有非凡的规模，例如核反应堆熔毁和复杂的生物武器。这种动态在技术处于初期阶段时最为尖锐——在风险被完全理解并且通过试错过程逐步建立纠正措施之前。

自2019年以来，私人对AI开发的投资每年超过1000亿美元，并且可能在不久的将来进一步上升，加速AI的进展和部署。AI系统的能力不断增强，其内部工作往往对人类监督难以理解，有时甚至超越了人类的能力，这意味着与其他系统和技术结合使用的复杂AI工具可能会显著改变危险领域的风险概况。AI部署的速度、潜在应用的多样性以及AI模型能力的快速增长，都使得在各个领域中的灾难性风险增加。一些事件已经展示了AI在可能的灾难性风险中扮演角色的概念验证。AI工具已经展示了在设计和制造化学武器方面的能力，这暗示了未来非国家行为者可能更容易发展和发动化学——甚至最终是生物——攻击的可能性。2010年，算法交易为“闪电崩盘”奠定了基础，导致股票市场上一万亿美元暂时被抹去。随着证券交易委员会（SEC）主席警告说AI“将成为...未来金融危机的中心”，更令人沮丧的崩盘可能即将到来。用于核指挥和控制的自动化军事系统也遭受了故障和误报——一些事件让一些人担心，这可能预示着AI诱导的核灾难情景在不久的将来。AI可能不仅增加各种领域灾难的可能性和严重性，还可能使国家更难以管理其影响。一些专家担心，像深度伪造、大型语言模型（LLMs）和更复杂的推荐算法等AI工具可能会显著降低社会的信息环境质量，从而降低它们的危机响应能力。在这种观点中，由AI工具创造的更令人信服、个性化和丰富的错误信息和虚假信息，以及由AI驱动的媒体亚文化造成的更大媒体分化，可能会使公民更容易受到虚假叙述的影响。这种环境将抑制国家在危机时期做出和执行决策的能力，并将随着时间的推移逐渐侵蚀公众信任。已经有一些工作集中在这些问题上，主要集中在开放、民主的媒体生态系统上的风险，但AI工具也可能在专制系统中产生类似的效应，尽管手段不同。与其播下不信任和混乱的种子，不如使用AI加强宣传和审查，可能会加剧困扰专制政权的信息扭曲挑战，在这些政权中，关键信息未能到达专制领导人手中，而他们反过来做出糟糕的决策，可能会加剧或引发危机，就像他们开始相信自己的宣传一样。

与危机相关的人工智能安全✦

新技术能力（New Capabilities）：这个维度关注AI带来的新能力可能在不同领域产生的危险。例如，AI可能增强生物、化学、网络和金融安全领域的风险，以及通过自动化武器系统可能带来的军事风险。

技术安全挑战（Technical Safety Challenges）：这个维度涉及AI系统可能存在的技术故障，以及这些故障如何升级风险。包括目标一致性问题、规格游戏、控制丧失、鲁棒性、校准、对抗性攻击、以及解释性和可解释性问题。整合AI进复杂系统（Integrating AI into Complex Systems）：这个维度探讨AI整合进高风险系统可能如何干扰或破坏它们的运作。问题包括自动化偏见、操作员信任、伐木工效应（lumberjack effect）、对操作的敏感性降低、技能退化、紧密耦合、以及新兴行为。AI开发条件（Conditions of AI Development）：这个维度考虑AI工具的开发条件如何影响其安全性。涉及因素包括企业及地缘政治竞争压力、安全文化不足、对技术安全研发的投资不足、社会韧性、以及工程师的记忆生命周期。

这四个维度共同构成了评估AI重大危机风险的框架，旨在帮助政策制定者、技术开发者和安全研究人员更好地理解和应对AI技术可能带来的复杂风险。

如何获取报告？

关注本公众号：图灵财经

来源：新美国安全中心（CNAS

时间：2024年6月

编辑：张卓昕

精彩推荐

更多精彩内容