【深度】哈佛大学：人工智能和国家安全（七）先前技术管理方法对AI管理的经验教训

---

【学术plus】 新添加号内搜索功能！

进入公众号→点击菜单【智库扫描】→【搜搜文章】

→输入关键词→一键检索您需要的文章。快来试试！

---

---

应美国情报高级研究计划局（IARPA）的要求，哈佛大学肯尼迪政治学院贝尔弗科学与国际事务中心与2017年7月发布《人工智能与国家安全》报告，分析人工智能（AI）对美国家安全的巨大影响，为美政府AI政策提供建议。本报告分为以下几个部分，我们将在接下来几天内，摘选报告部分主主体内容与大家共同分享学习。

执行摘要：

介绍和项目方法

第一部分：人工智能的变革潜力

第二部分：学习以前的变革性技术案例

第三部分：关于人工智能和国家安全的建议

结论

附录：变革性国家技术的案例研究

    案例研究#1：核技术

    案例研究#2：航天技术

    案例研究#3：互联网和网络技术

    案例研究#4：生物技术

---

哈佛大学报告：人工智能与国家安全（七）

学习以前的变革性技术案例

先前技术管理方法对AI管理的经验教训

---

教训#1: 激进的技术变革引发激进的政府政策观点

核武器技术的变革性意义与冷战背景相结合，促使美国政府想采取一些不一般的政策措施，包括（但不限于）下列措施：

• 颁布——赋予一个人发动核战争的特殊权力：作为政府首脑以及军队统帅，美国总统被授予与核武器有关的最高权威

• 考虑——按照集体安全协定，在联合国的专属权力下进行核武器的国际共管控制 

• 颁布——自愿与同盟国（已出现）和包括苏联在内的对手（未出现）共享原子武器技术

• 考虑——原子能湮灭：向对手实施先发制人的及/或报复性的原子能湮灭，可能导致数百万乃至数十亿人死亡

• 颁布——在军备控制框架中自愿限制核武器的开发，禁止某些类型的核武器和某些类型的核实验

这些政策中有的已经存在了70年，因此其激进主义的真实程度（在第一次考虑这些政策时）难以表达。第一个例子可能是最容易的，因为它只需《1947年总统继任法》通过即可。这部法律为《美国宪法第二十五修正案》奠定了基础。虽然《第二十五修正案》之所以颁布还有其它近因，例如肯尼迪总统被暗杀，但我们可以委婉地说核武器的发明是如此地意义重大，以至于美国宪法为之更改。

虽然核武器很明显引发了最激进的政策建议，但其它案例也触发了一系列重大变革。例如，国防部最终建立了一支全副武装的部队，以利用航天技术，这支部队如今叫做“美国空军”。网络挑战已导致美国网络司令部成立。这些变化都是很显著的，只不过时间让它们变得不再陌生而已。

我们目前还不清楚AI技术对国家安全的最大影响是什么，以及要多快才能达到这种影响。迄今为止，我们一直认为变革性军事技术极不可能出现。有人（例如尼克·博斯特罗姆）认为AI的循环改进特性可能会形成一种超级智能，导致整个人类的灭绝。 如果AI的持续快速进展导致一些政府也持有博斯特罗姆的观点，那么他们可能会考虑采取真正激进的政策，就像在核武器面世的最初几十年里所考虑过的那些政策一样激进。AI的影响越大、越明显（我们认为这种影响会越来越大、越来越明显），就会有越多的政策制定者感到有理由采取与现有政策大相径庭的极端政策。

教训#2：军备竞赛有时不可避免，但可以管控

对空中轰炸的恐惧导致一份禁止使用武器化飞机的国际条约诞生，但这种自愿限制做法很快被废弃，没能阻止第一次世界大战中空战的爆发。

在1899年，全世界主要军事强国的外交官齐聚海牙，召开了一次和平会议。这次会议的其中一个比较感兴趣的结果是在五年内暂停使用所有攻击性的军用飞机。虽然其目的是想随后就发布永久性禁令，但在1907年举办的第二次海牙和平会议上就推翻了前次会议的暂时性禁令，因为这些国家看到空战的潜力不可抗拒。因此，所有的军事强国都开始规划轰炸机的使用。 在1910年，欧洲大国的联合军用飞机舰队拥有50架军用飞机。到1914年，这个数字达到 700。 当第一次世界大战爆发时，唯一真正限制军用飞机使用的是技术：初期的飞机在航程和炸弹运输能力上都很有限。但每个欧洲交战国的首都——除罗马外——仍然遭到了空袭。

AI在战争和间谍活动中的应用很可能像飞机一样势不可挡。阻止AI在军事上的普及可能无法实现。

航天技术最终几乎变成了军事实力的同义词，看起来AI的应用很可能最终也会走同样的路线。就像企业因面临竞争别无选择而不得不选择机器学习那样，军队和情报机构也迫于压力，不得不扩大AI在军事中的应用范围。美国国家安全局和网络司令部的负责人迈克尔·罗杰斯也认同这种观点：“对我来说，问题不在于是否采用这种技术，而只是何时采用。这个时刻正在来临。” 这种无法逃避的感觉不仅是因为AI已证明是多么有用，还因为人们相信当前的AI应用只是触及到了AI未来能力的表面。

虽然完全禁止AI在国家安全领域应用是不现实的，但我们必须追求更适度的安全有效技术管理目标。

军用飞机的禁令瓦解了，但美国及其同盟国甚至其敌手却开发了一个旨在限制航天技术风险的框架。虽然很多详情要等到军用AI技术更成熟之后才能明了，但美国及其他行动者必须建立一种管理体制，以限制军用AI技术推广所带来的风险。

教训#3: 政府必须既要推进商业活动，又要限制商业活动

如果不能识别这种技术的固有两用性质，可能会付出生命的代价，就像劳斯莱斯“Nene”涡轮喷气发动机所表现出的那样。

在二次大战之后，美国意识到促进商用航空航天工业的经济增长和保守军事保密之间常常存在矛盾。例如，英国在二次大战结束时拥有优越的喷气发动机技术，但面临着严峻的金融挑战。英国的发动机制造公司为谋取出口收入，将25架“商用”劳斯莱斯“Nene”喷气发动机卖给了苏联。苏联立即逆向设计了“Nene”发动机，并围绕这款发动机设计了自己的MiG-15战斗机。在朝鲜战争中，高效的MiG-15主宰了空中战场。“Nene”的经历告诉美国，航天技术的突破有时必须保密，让这些技术掌握在国防部门的手里。美国政府将其保密和许可范围扩大到包括众多的民用航天工作人员，并对航天公司在国内外（尤其是国外）出让技术的能力加以限制。

对于美国来说，拥有世界上最大最先进的数字技术行业是巨大的优势，但调和商业利益和国家安全利益之间的矛盾仍具有挑战性。

美国政府着手监管航天工业时是有很大优势的。当时，政府客户拥有绝大多数的飞机总销售量，政府资助了大多数的航天技术研发项目。这就像我们中的其中一人描述的核开发情形：“当核武器被发明时，最优秀的科学家在为美国政府工作，最先进的技术专属于美国政府，政府为科研开发计划提供了大部分的资金。现在，那样的世界已经远去，变得几乎无法认出。”

AI面临的情形将大不相同，因为政府并不是AI公司的大客户，还因为AI领域中大多数的一流研究人员都不是在为政府工作。白宫关于AI的报告指出，在2015年，整个美国政府在非保密AI研发上花了大约11亿美元，而美国政府每年在数学和计算机科学研发上的支出为30亿美元。每年，多家硅谷公司和中国企业各自在AI研发上花的钱比整个美国政府在所有数学和计算机科学领域的研发上花的钱还多。

更糟糕的是，美国政府和数字技术行业之间的关系目前很紧张，尤其是在爱德华·斯诺登事件发生之后以及一些政治领袖发表了关于技术和技术行业的声明之后。谷歌Deep-Mind是很多人眼中的AI前沿技术研发的世界先行者，也强烈反对AI技术在军事或监视中的应用。在谷歌收购DeepMind之后，这两家企业商定：谷歌不得将DeepMind的技术用于军事和政府监视目的。 当谷歌收购波士顿Dynamics和Schaft时——这是主要由DARPA资助的两家一流机器人研发公司——谷歌规定这两家公司将不再签订新的军事合同和情报合同。

实际上，谷歌跟国家安全机构的合作比跟很多一流技术公司的合作更多。谷歌母公司Alphabet的执行主席埃里克-施密特（Eric Schmidt）也是国防部创新委员会的主席。甚至连谷歌都对自己与国防部的合作严加限制——这恰恰表明了目前的形势有多严峻。虽然主要的数字技术公司在很大程度上都把总部设在美国，但它们在全球市场上运作，客户、供应商和合作伙伴遍及全世界。

虽然政府从最有价值的客户和可信任的合作伙伴的角度来监管核工业和航天工业，但政府与一些主要AI研究机构之间的关系仍然很紧张。幸运地是，虽然在网络安全领域也存在这种担心，但美国政府能够在该领域的攻击性军事用途和间谍活动用途中建立明显的领先地位。这种成功在很大程度上归功于美国政府几十年来对计算与互联网行业的支持——从这些行业还相当稚嫩时就开始提供支持。但对于必须有效地同时支持AI的商业利益和政府利益的政策制定者来说，AI的这两大利益之间的紧张形势仍然是一大挑战。

教训#4: 政府必须制定安全目标并提供资源

在上述四个案例的每一个案例中，国家安全政策制定者都面临着安全性与性能之间的取舍，但政府更有可能只在一些风险上采取恰当的应对措施。

上述四个案例各自采用的当前指挥控制系统和安全系统花了好几十年才面世。这种情况本身并不会令人不安。真正麻烦的是风险因素的深入了解和解决方案的实施之间常常很漫长。就核武器而言，很多如今认为很必要的安全措施都是在解决方案找到后过了十年（或更久）才实施的。 由于成本问题、相较安全可靠性而言对性能可靠性的偏见以及官僚暗斗，负责安全性的机构多次都未能实施必要的安全措施。

在调查了核侥幸脱险事件的记录之后，我们同意前国防部长罗伯特·麦克纳马拉（Robert McNamara）的说法。他认为，灾难性核武器事故之所以没有发生，一半是因为运气，另一半是因为技术/程序性防护措施设计得很好。

 在接受埃洛·莫里斯（Errol Morris）的采访时，麦克纳马拉说“我想说——这一点很重要——最后，我们走了好运。是运气阻止了核战争。” 美国的关键基础设施未遭到重大网络攻击也是因为运气。大多数的网络安全专家认为，这些系统实际上并不是没有被攻击的危险，因此网络系统未遭到重大攻击更主要的原因是美国的威慑力取得了成功（加上一些运气），而在网络防御和安全性上倾注适当的关注度和资源只是次要原因。

并非所有的技术部门都会犯这种错误。美国的核潜艇部门从不会因为与核技术相关的原因而损失核潜艇。同样，航天技术部门也在设法实现快速持续的能力提升，与此同时在安全性上获得持续进展——在军用领域和商用领域均如此。

在所有的案例中，当政府建立正规的组织并要求他们提高各自技术领域的安全性、同时拨给他们所需要的资源时，安全效果会更好。这些资源不仅包括资金和材料，还包括有才能的人力资本、权威机构以及赢得官僚主义斗争的途径。桑地亚的核武器安全部门、美联邦航空局和疾病控制与预防中心是以安全性作为任务核心的机构，因此它们的安全效果改善了。

随着美国着手推行“第三次抵消”战略并准备监管AI在商用和民用政府部门中的推广应用，美国应当考虑建立独立的正式研发组织，委派这些组织研究并促进在整个政府/商业AI投资组合中的AI安全性。

教训#5：随着技术的变革，美国的国家利益也在变化

生物武器的成本和复杂性降低，促使美国将其生物武器战略从咄咄逼人的开发战略改为自愿约束战略。

根据自身经验，美国一开始认为有效的生物武器很可能较昂贵、复杂，因此只有强国才用得起。在二战期间，美国在生物武器上花了4亿美元（按1945年计算，合2017年的54亿美元），大约为曼哈顿计划经费的1/5。 这笔资金大多用在了研发上，因为开发批量生产方法、贮存方法和有效的扩散方法经证实是有技术难度的。每单位成本的生物武器具有比化学武器或常规武器大得多的破坏能力，但生物武器被认为是只适用于美国及其他强国。美国通过积极的生物武器开发来获得安全性，以保证有效的威慑力。

但到了20世纪60年代晚期，技术进步使得生物武器更有可能在破坏潜力上与核武器相当，那些没有技术精良的核武器的不富裕弱国也很有可能拥有生物武器。生物武器很可能成为以攻击为主要特征的“穷人的核武器”。因此，美国意识到自己的主要生物武器威胁很可能来自不稳定的小国。对这些国家，美国光靠自己的威慑力可能无法保证充分的安全。为了建立反对生物武器的全球规范和军备控制框架，美国史无前例地单方宣布放弃全部的生物武器。

生物武器案例说明，美国对于改变战略技术的成本、复杂性和进攻/防御平衡状态有着强烈的战略兴趣。

一种更广泛的观点是美国对主要军事技术的特性怀有战略兴趣：因为美国的经济规模比敌人大得多，也更富裕，因此如果最有用的军事/情报技术既复杂又昂贵对美国来说更有利，也就是说只有美国和少数几个国家能用得起这样的技术。如果昂贵的最先进系统与便宜/更老的系统之间的性能差距很大，要花很长时间和相当多的资源才能弥合此差距，那么这种情况对美国来说也是有利的。

隐形飞机的案例表明，战略投资有时可能使美国能够影响某个领域的攻/守平衡，并形成持久的技术优势。

让我们想想隐形飞机的案例。在1973年，在为期18天的赎罪日战争中，苏联制造的一连串地对空导弹（SAM）击落了109架以色列军用飞机。由于以色列空军使用了最先进的美国造飞机和电子仪器，美国军队很快认定苏联的防空能力能够毁坏由美国/北约制造的大批进攻性战斗机和轰炸机。然后，美国开始启动一个研发计划，最终形成了隐形飞机技术。在1981年，随着F-117“夜鹰”的引入，隐形飞机扭转了平衡局势，对美国的进攻能力有利。也许在这个故事上最令人震惊的是，使隐形技术成为可能的几个关键的潜在科技突破是1962年由苏联莫斯科无线电工程研究所的物理学家彼得·乌菲莫切夫（Petr Ufimtsev）研究获得的。而乌菲莫切夫作品的英译本到1971年才面世。 尽管领先了九年，后来又积极复制美国的先进技术， 但苏联从未成功地将隐形飞机投入战场，也未能开发出能可靠地探测美国隐形飞机的雷达。如果美国从未无意中发现乌菲莫切夫的突破性研究，那么隐形飞机的最初发明时间可能要推迟到几十年之后。

美国应当考虑如何改变AI在军事和情报用途中的技术现状。

我们已经谈到，从技术管理的角度来看，AI的技术状态可能处于最坏案例模式。不过，虽然我们认为这是最有可能的结果，但却不是不可避免的。美国大有可能让这种局势变好或变坏。仅仅举一个例子来说。国防部战略能力办公室目前正在开发自主微型无人机群。 随着美国继续开展这种军事AI研究，我们要问：这有可能使美国获得创造可持续军事优势的能力，还是有可能使其它国家更快地获得类似的能力？鉴于工业领域和学术界的研究人员也在评估微型无人机群，因此微型无人机计划取得的任何进展都有可能会被轻易复制，而美国正在这方面花大量经费，这将最终加速比当前更糟的技术形势。当然，微型无人机计划也可能使美国获得与隐形飞机一样有决定性意义并持久的突破性技术优势。 

本报告中文译文版本将于近期成册

请您随时关注相关信息！

---

文章来源：/ 图片来自于原报告或互联网

英文原文阅读下载链接如下（英文报告篇幅较长，下载需时间，请您耐心等待❤）

https://www.belfercenter.org/sites/default/files/files/publication/AI%20NatSec%20-%20final.pdf

欢迎大家评论

---

    声明：版权归原作者所有。文章观点不代表本机构立场。

---

• 《中国电子科学研究院学报》欢迎各位专家、学者赐稿！投稿链接 http://kjpl.cbpt.cnki.net

• 学报电话：[phone]

• 学报邮箱：[e-mail]