【深度】哈佛大学：人工智能和国家安全（八）AI与国家安全的11点建议与结论

---

【学术plus】 新添加号内搜索功能！

进入公众号→点击菜单【智库扫描】→【搜搜文章】

→输入关键词→一键检索您需要的文章。快来试试！

---

---

应美国情报高级研究计划局（IARPA）的要求，哈佛大学肯尼迪政治学院贝尔弗科学与国际事务中心与2017年7月发布《人工智能与国家安全》报告，分析人工智能（AI）对美国家安全的巨大影响，为美政府AI政策提供建议。本报告分为以下几个部分，我们将在接下来几天内，摘选报告部分主主体内容与大家共同分享学习。

执行摘要：

介绍和项目方法

第一部分：人工智能的变革潜力

第二部分：学习以前的变革性技术案例

第三部分：关于人工智能和国家安全的建议

结论

附录：变革性国家技术的案例研究

---

哈佛大学报告：人工智能与国家安全（八）

学习以前的变革性技术案例

AI与国家安全的11点建议与结论

---

保持美国的技术领导地位

建议1: 国防部（DOD）应当实施以AI为焦点的军事演习，以识别潜在的破坏性军事创新。

背景：破坏性创新理论

哈佛商学院教授克雷•克里斯坦森（Clay Christensen）描述了两种不同类型的创新：维持性创新和破坏性创新。维持性创新就是竞争的轨迹在于“制造可以卖更多的钱以吸引客户的更好产品”。

破坏性创新理论适用于军事领域。

高塔姆·穆昆达（Gautam Mukunda）博士观察到，在军事领域也会出现这些破坏性创新动力。我们认为，在AI的军事应用情景中，破坏性创新很可能会出现。

AI技术进步将使军事力量实现新的破坏性创新。

对于美国来说，$1000的四旋翼无人机看起来似乎完全没用，因为这种无人机的几乎每一种维持性性能都劣于现有的军用飞机。但对于实力较弱的军队或非国家行为者来说，无人机似乎是一种可获得期望军事能力的负担得起的方式，而用其它方式——包括侦察或炸药的远程交付——将会付出太高的代价。随着无人机及其他AI相关技术的增能降价，破坏性机会的次数也会增加。

建议：国防部应当资助“作战模拟”和“红队”这两种创造性思维演习，以确定AI的进步可能会如何引发对美国的军事优势构成威胁的破坏性军事创新。具体地说，美国应当尝试着探明由AI实现的能力对不同类型的行动者（强国、中等国家和非国家行为者）来说可能有哪些用处。一旦探明，国防部就可以制定投资战略，以消解这些威胁并保持美国的军事领导地位。

建议2: DOD应当资助关于AI技术及其影响的多个长期战略分析项目。

除军事作战模拟外，美国还需要从战略角度长期分析AI及其影响，就像兰德公司在评估核武器战略的过程中起的作用一样。

美国政府需要像兰德公司这样的机构为其提供AI战略分析。在AI主题上需要的战略分析量是很巨大的。当然，需要进行实质性评估的问题类型包括（但不限于）下列问题：

强制性IARPA研究计划问题

• AI技术开发的先动优势是什么？快速模仿者能有效地与之竞争吗？

• 哪些商用AI技术为军用“两用”技术？

• 哪些研发投资会影响军事/情报AI应用领域的攻/守平衡？在各种各样的军事和情报领域中，美国应倾向于哪种平衡？

• 哪些AI投资可能会扩大强国相对于弱国或非国家行为者的优势？

• 人工智能能力的增长将如何影响经济大国的国际收支平衡？

• 一般人工智能可能在什么时候发生？美国如何知道自己的技术在何时接近于一般人工智能？美国如何有效地规划或设法影响一般人工智能的发生过程？

建议3: DOD应当按优先次序列出能提供可持续优势及缓解重大风险的AI研发经费项目。

AI可能会实现很多新型的低价高效军事技术。这些技术中有的可能会让国防部的短期投资变得无吸引力。

虽然很多特定AI能力的开发时间线还不明确，但AI很可能成为一种变革性军事技术。在这些未来的AI能力中，有的将改变国防部的预计采购投资和后勤投资的相对吸引力。例如，一些飞机/船舶平台的经费支出理由是几十年之后，这些平台将仍然拥有有用的军事能力。AI技术在今后10-20年里预计取得的进展程度将促使国防部重新考虑这些假设条件。例如，如果成群的低价自主远程“神风”自杀式无人机可购买到，那么航空母舰——就我们所知——可能不再与未来的战争有关。如果美国对于将航空母舰的军事优势延长至尽可能长的时间怀有浓厚的战略兴趣，那么美国将会积极地在这种技术上投资，以抵御由无人机群带来的威胁。 此外，美国应当会限制在威胁着现有军事优势并经证明能被潜在对手轻易复制的任何技术上拨出的经费。美国开发的一些军用AI技术最终可能会对敌人更有益（相较于美国自身及其盟军而言）。

国防部在制定军事/情报AI研究议程时，应当考虑自己要获得哪种战略结果以及如何避免适得其反的“逐底竞争”。在评估研究计划时，IARPA要求申请者回答一系列与美国在其AI研发投资组合中应当考虑的那些问题高度相关的问题：

• 你估计主要竞争国在知道了这种技术之后要花多长时间才能使其武器化？ 

• 你估计掌握资源的非国家恐怖组织（就像本世纪头十年的基地组织那样）要花多长时间？

• 如果这种技术被泄露、窃取或复制，我们是否会遗憾曾经将它开发出来？

• 国外情报机构会如何曲解该计划？你对降低其中的风险有何建议？

• 我们能先于攻击能力之前开发出防御能力吗？

• 这种技术是否能变得不易被窃取、复制及大量生产？哪些固有设计特征能形成进入壁垒？

• “红队”的哪些活动有助于回答这些问题？你尤其重视“红队”的哪些意见？

建议4: 美国国防与情报界应当在进攻/防御类“反AI”能力上大力投资。

机器学习系统可能有不同于传统软件开发的优点和缺点。

在传统软件的开发过程中，程序是手编的，并形成一长串按顺序执行的指令。机器学习则不同。在某种意义上，计算机程序通过将一种算法应用于一组训练数据实例而实现自编程。这种不同的模式具有不同的优点，包括在分析非结构化传感器数据方面有优越的能力；也具有不同的缺点，包括对于训练数据集中未发现的数据有不可预测的响应行为。

研究人员才刚刚开始探究机器学习系统的漏洞和可能可利用的方面，即所谓的“反AI”研究。

最近，研究人员们在探究机器学习系统中存在哪种可预测、可利用的漏洞的过程中取得了进展。例如，怀俄明大学和康奈尔大学的研究人员已证明，敌人获得了图像分类机器学习算法的训练数据之后，能够变换任何图像，使机器学习算法以可预见的方式对计算结果进行错误分类。 这个“反AI”领域还处于初始阶段，但会不断发展，而且越来越重要。

美国的国防机构和英特尔公司应当努力在“反AI”能力上处于领先地位。

在今后十年，机器学习很可能被并入一大批各种各样的系统中。虽然美国在互联网初期开发了一种一流的攻击性网络作战能力，但如今美国必须投资开发能在敌人的机器学习系统中制造漏洞的能力。同时，美国还必须投资以保证自己的系统免受这些类型的威胁。鉴于这类研究尚处于初期阶段，学术机构获得的拨款资金可为其提供最好的支持。但最终，这类研究需要转移到保密领域中。

支持AI技术的和平利用

建议5: 应当向DARPA、IARPA、海军研究局和国家科学基金会提供更多的资金，用于与AI有关的基础研究。

如今，有AI专业知识的技能型研究人员非常急需。很多研究人员离开学术界，进入私营企业去挣高得多的工资。这种趋势会面临一种风险，即那些不把国家安全机构视为重要潜在客户的专利权企业会封锁与尖端AI研究有关的人才和信息。也许更糟的是，物色大学人才会面临另一种风险，即吃掉了培训教师的AI“谷种”知识，而这些培训教师本来急需为培训一大批AI劳动力做出努力的，另外还会导致政府资助的研究机构落在企业研究机构的后面。为应对这些趋势，美国政府应当增加对大学基本AI研究的资助，以确保有很多资金雄厚的、更激动人心的项目供教师和学生们合作。

建议6:国防部应当发布关于“两用”AI能力的“信息邀请书”（RFI）。

作为一种普通技术，AI将影响很多商业领域和军事领域。国防部应当设法确定哪些AI能力（若有）从本质上看是军事能力，哪些是商业能力。

AI是一个覆盖了很多方面的广泛领域。这些方面中有的——例如将AI融入自主武器中——可能在本质上属于军事能力，而其它的可能为两用或商业能力。由于商业部门也有安全需求，因此这些区别不容易解决。国防部应当发布RFI并通过国防创新委员会举行听证会，以阐明这些区别。然后，通过更好地了解哪些方面在本质上属于军事能力或民用的机会相对较少，就可以为未来监管高密机密的AI技术提供信息。这将有助于美国国家安全机构在保持军事优势和支持AI技术的和平利用及商业性使用之间“穿针引线”。

建议7: 应当给In-Q-Tel提供更多资源，以促进国家安全共同体和AI商业界之间的合作。

In-Q-Tel公司是一家非营利性风险资本公司，该公司为技术企业投资，促进这些企业和国家安全机构之间的联系。

In-Q-Tel以给企业提供风险资本投资为傲。被投资的企业后来既为国家安全做出了重要贡献，又在私营部门中获得了成功。虽然In-Q-Tel的全部预算未公开，但其年度预算的公开估算数据在1.2亿美元范围内。相对于美国的750多亿美元年度风险资本投资来说，这简直是九牛一毛。

这些投资应当投给那些既想开发商业客户又想吸引国家安全客户的公司。

这个领域中的大多数专家认为，一流的AI企业在很多情况下专为非国防商业客户服务。认为国家安全机构是大多数此类企业的主要收入来源的想法是不切实际的。在可能的情况下，政府应当设法保证有前途的创业公司也能在政府的空间里获得相关机遇。

处理灾难性风险

建议8: 国家安全理事会、国防部和国务院应当研究哪些是美国应设法用条约来限制的AI用途。

虽然AI在军事和情报上的所有应用极不可能通过条约来限制，但强国可以同意不开发部署某些AI用途。

军备控制条约是一种难以实施的、有缺点的控制手段，但对于降低军事技术风险而言是有用的。为限制核试验、禁止开发某些类型的核武器以及禁止使用和开发生物武器而订立的所有条约在降低风险方面都起着重要的作用。AI的未来用途尚不确定，但即使现在，这些条约仍有助于缓解某些领域的未来风险。

例如，各国可能会一致认为将战略核武器交托给AI“安全按钮”控制会带来极不确定的巨大风险。目前，美国在军事AI系统的开发上面临的竞争压力比较遥远，因此是美国考虑应当通过条约限制或禁止哪些AI能力的大好时机。美国还应当制定关于自主武器系统的政府政策，用于协调军事/情报机构的政策并成为美国的AI外交讨论内容的一部分。

建议9: 国防部和情报界应当创建专门的AI安全性组织。

“国家人工智能研发战略计划”为AI安全性研究建立了一份强有力的议程，内容包括提高可解释性和透明度、建立信任以及增强验证和确认。这些都是应该做的优先事项，但还有一项单独的任务，那就是确保与AI安全性有关的研究成果能有效地并入国家安全机构的计划、系统和活动中。以前的核武器开发经验表明，建立专门的安全组织对于在有时（尽管比所认为的更少见）竞争性的核武器实施行为面前确保安全性得到肯定而言是很关键的。

在国防部和相关的情报机构中建立正式的AI安全组织能达到三个目的。首先，这些组织可以为了解AI安全性的最佳实践和最新研究成果提供共享的资源。其次，这些组织支持把安全性作为官僚政治的重点。第三，这些组织是与外界私营机构接洽的一个有效联络点。

建议10: 国防高级研究项目管理局（DARPA）应当为AI系统的失效安全和性能安全技术提供研发资金。

拥有完美核安全记录的美国核潜艇机构和核安全记录不理想的美国核武器计划之间的一个区别是：安全性是核潜艇实现高性能的一个内在要求。如果核潜艇对船员或它自身而言构成危险，那么核潜艇就极不可能完成任务。在使用核武器时，如果一些安全措施使得核弹在攻击过程中更不可能爆炸，那么这些措施可能会降低任务的成功概率。几十年来，战略空军司令部的领导成功地用这个理由多次拒绝了一些甚至很普通的安全措施（例如在每套武器上装一个暗码锁）的采用。

要想将核潜艇机构的良好安全记录应用于AI，国防部就应当资助DARPA研究能在AI系统的开发和战地部署中同时增强系统安全性和性能的方法及技术。其目标是给未来的开发人员提供基于绩效的、着眼于安全性的强烈动机，而不是只命令或要求他们这样做。

建议11: NIST和NSA应当研究相关的技术方案，以抵制由AI实现的伪造品。

通过AI实现的伪造品将向指挥控制机构提出挑战，并增加社会工程“黑客”对所有机构构成的威胁。

国家标准技术研究所（NIST）和国家安全局（NSA）应当研究能限制AI伪造视频/音频之有效性的技术方案。

结论

我们正站在一个技术转折点上。人工智能的变革正在以远非专家们预测的速度快速推进。这些进步将给人类带来意义深远的好处，因为AI系统有助于解决医药、环境及其它很多领域中的难题。但这些进步也必然伴有风险。随着岁月的流逝，AI对国家安全的影响将变得更加深远。在本项目中，我们曾力图描述在今后几年这些影响可能有多么广泛。

我们发现，AI可能会曝露出之前变革性军事技术的一些（不一定是全部）最具挑战性的方面。在评估国家安全政策制定者如何应对以前的这些技术时，我们的意见与斯科特·萨甘（Scott Sagan）一致。他指出，我们的前辈表现得我们知道的更差，但可能比我们预料的更好。他们面临的挑战是巨大的。

不幸地是，由于技术发展得过快，再加上在当今时代政府与企业之间的关系愈加复杂，因此AI可能会和以前的这些案例一样充满风险，甚至可能更严重。虽然我们从过去几年发布的一组高质量AI报告中得到鼓励，但我们发现这些报告多少受到了保守主义的限制。在本研究中，我们力图诚实地将AI革命描述为“革命性”，而不只是“不同”。对此，政府需要雄心勃勃地做出有效响应。

本报告中文译文版本将于近期成册

请您随时关注相关信息！

---

文章来源：/ 图片来自于原报告或互联网

英文原文阅读下载链接如下（英文报告篇幅较长，下载需时间，请您耐心等待❤）

https://www.belfercenter.org/sites/default/files/files/publication/AI%20NatSec%20-%20final.pdf

欢迎大家评论

---

    声明：版权归原作者所有。文章观点不代表本机构立场。

---

• 《中国电子科学研究院学报》欢迎各位专家、学者赐稿！投稿链接 http://kjpl.cbpt.cnki.net

• 学报电话：[phone]

• 学报邮箱：[e-mail]