【ASC21】人工智能是否给对手带来了新的攻击面？

美国空军网络政策负责人在空军协会2021年度空天网研讨会上警告说，越来越多地依赖人工智能来增强人类决策，这提高了针对关键数据和人工智能算法的攻击风险。

2021年8月26日，夏威夷空军国民警卫队第169防空中队空军少校谢恩·凯希奥拉洛（Shane Keahiolalo）在华盛顿刘易斯·麦克霍德联合基地的西部防空区测试新的“作战管理训练下一个”（BMTN）系统。BMTN是与Vectrona、Breakaway Games和Sentrana合作开发的，旨在将人工智能、机器学习、生物特征识别和自然语言处理功能整合到一个训练系统中。

美国空军负责情报、监视、侦察和网络的副参谋长玛丽·奥布莱恩（Mary F. O’Brien）中将说：“如果我们的对手能够在这个过程的任何部分注入不确定性，我们就有点死在水里了。”奥布莱恩在与美国空军第十六空军司令；空军网络司令部司令和联合部队网络司令部司令蒂莫西·霍夫（Timothy D. Haugh）中将和空军首席信息官劳伦·巴雷特·克纳森伯格（Lauren Barrett Knausenberger）一起举行的“小组研讨：信息战”上表示，人工智能就像其他新武器系统。获得它仅仅是战斗的一半。保卫它也同样重要。

美国空军协会2021年度空天网研讨会小组讨论《信息战：竞争连续体的战略》

在研讨会上，她问道：“一旦我们得到了人工智能，我们将如何保护算法、保护训练数据以及消除任何不确定性？”为了使之有效，人工智能必须是可靠的，作战人员必须信任它的洞察力和建议。

但是，如果黑客能够感染数据以破坏这种信任，信心将在瞬间蒸发。

空军部负责科学、技术和工程副助理部长伊维特·韦伯（Yvette S. Weber）博士在本次研讨会上一场名为“任务能力领域研讨：自主系统”的小组会议上发言时说，加速决策周期以在激烈的战斗中迅速识别和提示目标，人工智能将是至关重要的。她说：“[人工智能和自主系统]的进步对于完成高端战斗的核心任务至关重要。”

美国空军协会2021年度空天网研讨会《任务能力领域研讨：自主系统》

伊维特·韦伯在研讨会上表示，在“高度竞争的环境中，人机合作使飞行员能够处理大量的数据，并更迅速地协助人类决策，以达成目标决策。”

很遗憾，截取的片段都通不过了

然而，玛丽·奥布莱恩在这些潜在的回报中看到了风险。她说：“有一种假设是，一旦我们有了人工智能，我们开发了算法，我们有了训练数据，[而且]它给我们提供了我们想要的任何东西，那就没有风险，没有威胁了。”

同上

玛丽·奥布莱恩在研讨会中提到了丽娜·德恩尔（Rena DeHenre）少校，她是一名年轻的美国空军情报官，在《超越地平线》（Over the Horizon）博客上最近的一篇文章《为什么国防部应该创建一个人工智能红队》中主张成立国防部人工智能红队。她引用了康奈尔大学的一篇题为《大规模对抗性机器学习》的研究论文，认为建立红队来寻找军事人工智能实施中的漏洞是至关重要的。她写道：“有了专门的人工智能红队，国防部将有一个中央小组来处理和评估人工智能和机器学习的漏洞。”

康奈尔大学题为《大规模对抗性机器学习》的研究论文

丽娜·德恩尔正是玛丽·奥布莱恩说她被鼓励“保护和促进”的那种特立独行的人。在她的文章中，丽娜·德恩尔列出了敌人可能寻求扭曲美国对人工智能的依赖以毒害其决策过程的方式。“对抗性机器学习（AML）是对数据或代码进行有目的的操纵，使机器学习算法运作不良或呈现错误的预测，”她引用美国国家安全委员会关于人工智能（NSCAI）的最终报告写道。

丽娜·德恩尔在博客文章中引用的“解释和利用对抗性示例”

NSCAI的这份报告指出，“即使是对这些数据集或算法的小规模操作，也会导致人工智能系统运行方式的后果性变化”。事实上，该委员会写道：“这种威胁不是假想的。对抗性攻击正在发生，并且已经影响到商业[机器学习]系统。”

美国国家安全委员会关于人工智能（NSCAI）的最终报告

该委员会还指出，“除了极少数例外，保护人工智能系统的想法在人工智能系统的工程和实战中一直是事后才想到的，对研究和开发的投资不足。”

就像任何其他软件代码一样，如果不是从一开始就建立在安全上，那么安全就永远不会有好的结果。该委员会总结道：“还没有一个统一的努力，将人工智能的保证整合到整个美国国家安全企业中。”

操纵甚至不一定是故意的。人工智能需要能够灵活处理其训练和真实世界集的异常数据，也是如此。一些专家认为，黑掉人工智能系统甚至比黑掉传统IT系统更容易。乔治敦大学安全和新兴技术中心的一份研究论文指出：“机器学习的漏洞往往不能像传统软件那样被修补，留下持久的漏洞供攻击者利用。”该论文继续指出，一些黑客甚至不需要内部人员进入受害者的网络，因为他们可以通过毒化系统正在收集的数据来完成。

该文件认为，捍卫人工智能既需要建立有弹性的系统，也需要使其透明并接受人类的监督，以便可以理解它们达到结果的方式。论文说：“政策制定者应该寻求提供更多的稳健性的方法，包括使用冗余的组件，并确保在可能的情况下有机会进行人类监督和干预。”

博伊西州立大学普适性网络安全研究所所长埃德·瓦斯科（Ed Vasko）在本次研讨会上一场名为“任务能力领域研讨：网络/5G/网络作战/网络安全”的小组会议发言时表达了类似的担忧。他说，“我所见过和经历过的每一个技术改造平台”都通过收集数据成为目标。

美国空军协会2021年度空天网研讨会《任务能力领域研讨：网络/5G/网络作战/网络安全》

“每次我们采取数据元素并将其扩大，找到更多更多的遥测数据加以利用，我们最终面临的挑战是，我们为我们的对手创造了越来越多的数据环境和更多的信息环境来进行潜在的攻击。”埃德·瓦斯科表示，风险超出了云架构或应用程序编程接口所产生的漏洞，因为正在收集和处理的数据量构成了最大的攻击面。

同上

他说：“在这一点上，数据量的爆炸性增长将超出任何人的预期。我不是在谈论（计算机）访问，我不是在谈论API平台连接。实际上，我说的只是这些数据的纯粹收集，以及这使我们的对手能够做什么和想什么。”

埃德·瓦斯科说，这些新技术和它们所取代的程序之间的关键区别在于，它们有效地要求美国空军和太空部队放弃自己的判断，而是相信算法能够正确地解释数据并得出结论。联合全域指挥与控制（JADC2）创造了一个机会，“实际上改变了我们的作战人员和我们的太空部队对利用自己的感官的思考方式。”

然而，从另一个角度看，对手获得了以做出这些决策的相同机器速度干预战场决策的潜力。正如过去误解的情报可能影响或误导了决策一样，在未来改变作为机器决策基础的数据可能会产生灾难性的后果。

埃德·瓦斯科说：“如果我们的对手能够实现这些，并影响到......参与支持我们的战斗机的JADC2要素，那么游戏就结束了。”

关联阅读：

---

2021年9月20日至22日，美国空军协会（AFA）举办了年度空天网研讨会，主题为“我们国家的空天领导力——当前与未来”。为期三天的活动吸引了超过12500名注册者，150家参展商和赞助商，100余位主旨演讲者，以及30余个小组研讨会和演讲。美国新任空军部长弗兰克·肯德尔、空军参谋长查尔斯·布朗和太空军司令约翰·雷蒙德等国防届领导人以及业内专家针对“部队现状、敏捷作战、C4ISR、数字工程、先进制造、电磁战、2022年国防战略与未来部队结构”等主题发表了精彩的主旨演讲并展开研讨。远望防务影像中心照例对其进行了精选整理，共计24个视频，供有兴趣的同仁参考。

以下为光盘内容：

01.美国空军第26任部长弗兰克·肯德尔主旨演讲：“部队现状”

02.美国空军第22任参谋长查尔斯·布朗上将主旨演讲：“加速变革以增强我们的飞行员的能力”

03.美国太空军司令约翰·W·杰伊·雷蒙德上将主旨演讲：“太空部队更新”

04.未来的部队组合

• 主持人：大卫·德普图拉中将，美国空军（退役），米切尔航空航天研究所所长

• 杰奎琳·范奥沃斯特上将，空中机动司令部司令

• 马克·凯利将军，空战司令部司令

• 安东尼·科顿上将，空军全球打击司令部司令兼空军战略司令部司令

05.空中力量的首要原则——获得成功的设计

• 主持人：希瑟·彭尼，米切尔航空航天研究所高级常驻研究员

• 杜克·理查森中将，空军负责采办、技术和后勤助理部长办公室军事代表

• 大卫·纳霍姆中将，负责计划和项目的空军副参谋长

• 克林顿·希诺特中将，负责战略、集成和需求的空军副参谋长

06.敏捷作战部署——随时随地的空中力量

• 主持人：布鲁斯·奥维尔·赖特中将，美国空军（退役），空军协会主席

• 杰弗里·哈里吉安上将，美国驻欧洲空军司令；美国空军非洲司令；盟军空军司令部司令

• 肯尼斯·威尔斯巴赫上将；太平洋空军司令；美国印太司令部空军分队司令；太平洋空战行动部执行主任

• 詹姆斯·吉姆·斯莱夫中将，空军特种作战司令部司令

07.2022年国防战略与未来部队结构

• 主持人：大卫·德普图拉中将，美国空军（退役），米切尔航空航天研究所所长

• 约瑟夫·瓜斯特拉中将，美国空军总部作战副参谋长

• 玛拉·卡林，国防部负责战略、计划和能力的助理国防部长

• 马克·冈津格上校，美国空军（退役），米切尔航空航天研究所未来概念与能力评估主任，这位大家应该熟悉了，之前在美国战略和预算评估中心（CSBA）时撰写了多部耳熟能详的报告

08.一队一战——全球交战

• 空军准将杰里米·阿特里奇，英国驻美国航空航天专员

• 海蒂·格兰特，国防安全合作局局长

• 凯利·塞博尔特，空军负责国际事务副部长
  

09.太空军部署与战备

禅师·萨尔茨曼中将，美国太空部队负责作战、网络与核的副参谋长

10.国防部成本效益分析的必要性

• 主持人：拉里·斯图兹里姆少将，美国空军（退役），米切尔航空航天研究所研究主任

• 马克·冈津格上校，美国空军（退役），米切尔航空航天研究所未来概念与能力评估主任

• 罗伯特·温克勒，参议院军事委员会的专职人员

• 罗韦恩·沙茨，美国空军总部研究、分析和评估主管

11.从采办到杀伤力

• 主持人：布鲁斯·奥维尔·赖特中将中将，美国空军（退役），空军协会主席

• 阿诺德·邦奇上将，空军装备司令部司令

• 杜克·理查森中将，空军负责采办、技术和后勤助理部长办公室军事代表

• 希瑟·普林格尔少将，空军装备司令部空军研究实验室指挥官

• 兰德尔·沃尔登，空军负责采办、技术和后勤助理部长办公室，空军快速能力办公室主任和项目执行官

12.战斗机路线图

马克·凯利上将，空战司令部司令

13.信息战：竞争连续体的战略

• 主持人：托比亚斯·内格尔，《空军》杂志主编

• 蒂莫西·霍夫中将，第十六空军司令；空军网络司令部司令和联合部队网络司令部司令

• 玛丽·奥布莱恩，空军负责情报、监视、侦察和网络影响行动的副参谋长

• 劳伦·巴雷特·克纳森伯格，空军部首席信息官

14.加速创新

• 主持人：戴夫·哈登，Prepost&Prepost Ventures首席执行官/创始人

• 普雷斯顿·邓拉普，空天部队首席架构师

• 杰夫·德格夫博士，密歇根大学罗斯商学院管理与组织教授

• 凯文·奥尼尔，奥尼尔集团公司首席执行官

15.任务能力领域研讨：战斗管理——JADC2/ABMS

• 主持人：杰弗里·瓦伦西亚准将，空军先进作战管理系统跨职能团队负责人

• 理查德·斯塔普，诺斯罗普·格鲁曼公司副总裁兼首席技术官

• 史蒂夫·诺德隆德，波音公司幻影工厂副总裁兼总经理

• 罗斯·尼伯格尔，哈里斯科技公司副总裁兼首席技术官

16.任务能力领域研讨：电磁战

• 主持人：泰德·克拉克准将，电磁频谱优势主管

• 史蒂文·基普，蕾杜斯创新中心

• 安东尼·尼加拉，哈里斯技术公司空间和机载系统战略和业务发展副总裁

• 杰瑞·沃勒茨博士，BAE系统公司电子作战解决方案副总裁兼总经理

17.任务能力领域研讨：数据管理-软件工程/云/人工智能/分析

• 主持人：艾琳·维德林，空军部首席数据官

• Akash Jain，Palantir Technologies首席技术官

• 布兰登·哈里斯，戴尔情报、监视与侦察业务负责人

• 罗伯特·奥德特，Guidehouse负责人

18.任务能力领域研讨：自主系统

• 主持人：伊维特·韦伯博士，空军负责科学、技术和工程副助理部长

• 戈库尔·苏布拉马尼，安杜里尔工业总工程师

• 马修·博耶，Elbit系统美国公司系统工程师高级职员

• 贾罗德·巴顿，蕾杜斯自主系统解决方案架构师

19.任务能力领域研讨：C4ISR

• 主持人：丹尼尔·辛普森少将，空军负责情报、监视和侦察部副参谋长助理

• 马修·阿波斯托洛，柯林斯航空航天系统、ISR和空间解决方案公司高级ISR需求和集成总监

• 詹姆斯·盖尔，哈里斯技术公司华盛顿运营部副总裁

• Mike Shortsleeve，通用原子航空公司战略发展总监

20.任务能力领域研讨：太空/过顶平台

• 主持人：克里斯·威廉姆斯，莫尔曼空间研究中心主席

• 埃里克·布朗，洛克希德·马丁公司军事航天任务战略高级主管

• 比尔·盖特尔，哈里斯技术公司空间系统总裁

• 保罗·蒂尔曼，微软Azure频谱技术高级总监

21.任务能力领域研讨：后勤/保障/任务支持

• 主持人：Patricia  Csánk上校，资源整合副主任，负责后勤、工程和部队保护副参谋长

• 罗伯特·麦克马洪，Systecon高级顾问

• 斯蒂芬·萨根特少将，美国空军（退役），首席执行官，马文测试解决方案公司

• 安东尼·佩德罗尼，NextEra能源公司发展副总裁

22.任务能力领域研讨：数字工程/先进制造

• 主持人：乔尔·莫泽博士，太空部队首席科学家

• 埃里克·海因，Spirit航空系统公司国防高级开发和空间项目副总裁

• 沃利斯·劳克雷，雷声科技公司情报与空间业务战略副总裁兼首席转型官

• 蕾妮·帕斯曼，洛克希德·马丁公司集成系统业务总监

23.任务能力领域研讨：网络/5G/网络作战/网络安全

• 主持人：罗伯特·莱曼准将，空军负责网络特效行动的助理副参谋长

• 斯蒂芬·马克，通用动力任务系统公司战略与业务发展网络系统副总裁

• 丹尼尔·赖斯，洛克希德马丁公司5G军事项目副总裁

• 兰斯·斯宾塞上校，美国空军（退役），AT&T全球公共部门客户执行副总裁

• 埃德·瓦斯科，博伊西州立大学普及网络安全研究所所长

24.任务能力领域研讨：武器和弹药

• 主持人：迈克尔·鲍尔上校，第90保障联队指挥官

• 约翰·马丁斯，MBDA国际项目总监

• 马克·阿尔托贝利，波音公司幻影工厂高级武器和导弹系统主管

• 乔恩·诺曼少将，美国空军（退役），雷声导弹与国防部客户需求与能力副总裁

来将通名&非诚勿扰

---

前情回顾

防务菌

---

有礼有节&百无禁忌