美国商务部发布关于提高AI系统的安全性、可靠性和可信度的系列新指南和软件

2024年7月26日，美国商务部发布了一系列旨在提高人工智能（AI）系统的安全性、可靠性和可信赖性的指南和软件。此次发布的系列内容涉及训练数据、性能表现、安全风险、全球标准、知识产权等主题，几乎涵盖了AI治理的各重要方面。

该系列发布的背景是2023年10月23日拜登发布《关于安全、可靠、可信地开发和使用人工智能的行政命令》【美国“关于安全、可靠、可信地开发和使用人工智能的行政命令”（中文翻译）】满270天。

此地商务部发布的内容也涵盖在白宫同样于7月26日发布的一份各个部门和机构对该行政命令交出的答卷《事实清单：拜登-哈里斯政府宣布新的AI行动并获得额外的重大自愿承诺》（中文附后文）。

除了美国商务部的美国专利商标局 (USPTO) 发布的旨在解决包括人工智能在内的关键和新兴技术的创新问题的一份关于专利主题资格的指导更新之外，此次发布的其他内容都由美国商务部的国家标准与技术研究所 (NIST) 发布，包括：

1. 开源软件Dioptra，用于测试人工智能系统如何应对攻击

AI系统的一个脆弱点是其核心模型。通过暴露于大量训练数据，模型学会做出决策。但是，如果对手在训练数据中引入不准确的数据，例如通过引入可能导致模型将停车标识误认为限速标识的数据，模型可能会做出不正确的、可能灾难性的决策。测试对抗性攻击对机器学习模型影响的目标之一是Dioptra，一个旨在帮助AI开发人员和客户确定其AI软件在各种对抗性攻击下表现如何的新软件包。

这个开源软件可以免费下载，有助于包括政府机构和中小型企业在内的社区进行评估，以评估AI开发人员对其系统性能的声明。Dioptra通过允许用户确定哪些类型的攻击会使模型表现较差，并量化性能降低的程度，使用户了解系统在何种情况下会失败的频率和情况。

2. NIST人工智能安全研究所的一份指导文件草案，旨在帮助软件开发人员减轻生成式人工智能和双重用途基础模型（可用于有益或有害目的的人工智能系统）带来的风险 

AI基础模型是有用的工具，可适用于广泛的任务，因为它们既有潜在的益处，也有潜在的危害，有时被称为“双重用途”。NIST的美国人工智能安全研究所发布了《双重用途基础模型误用风险管理》指南的初始公开草案，该指南概述了基础模型开发人员如何保护其系统免于被用于对个人、公共安全和国家安全造成故意伤害的自愿最佳实践。

该草案指南提出了七种关键方法来缓解模型被误用的风险，并推荐了如何实施这些方法以及如何透明地实施它们。结合这些实践，可以帮助防止模型通过开发生物武器、进行攻击性网络操作以及生成儿童性虐待材料和非自愿亲密图像等活动造成伤害。

3. 一份关于降低生成式人工智能风险的最终指导文件

AI RMF 生成式 AI 概况( NIST AI 600-1 ) 可以帮助组织识别生成式 AI 带来的独特风险，并提出最符合其目标和优先事项的生成式 AI 风险管理措施。该指南旨在成为 NIST  AI RMF用户的配套资源，其核心内容是12 种风险列表和开发人员可以采取的 200 多种措施。

这12种风险包括降低网络安全攻击的门槛，生产错误信息、虚假信息或仇恨言论及其他有害内容，以及生成式AI系统虚构或“幻想”输出。在描述每种风险后，该文件提出了开发人员可以采取的缓解措施矩阵，这些措施与人工智能 RMF 相对应。

4. 一份关于降低用于训练AI系统的数据的威胁最终指导文件

《生成式AI和双重用途基础模型的安全软件开发实践》（NIST特别出版物（SP）800-218A）旨在与安全软件开发框架（SP 800-218）一起使用。虽然SSDF主要关注软件编码实践，但配套资源扩展了SSDF，部分解决了生成式AI系统的一个主要问题：它们可能会被恶意训练数据妥协，从而对AI系统的性能产生不利影响。

除了涵盖AI系统的培训和使用方面外，该指南还确定了潜在的风险因素和应对策略。其他建议包括分析训练数据是否有中毒、偏见、同质性和篡改的迹象。

5. 一份关于参与全球AI标准的最终指导文件

AI系统不仅在美国，而且在全球范围内正在改变社会。NIST发布的第三份最终文件《全球AI标准参与计划》（NIST AI 100-5）旨在推动全球AI相关共识标准的发展和实施，合作与协调以及信息共享。

该指南基于NIST制定的《联邦参与AI标准及相关工具计划》中概述的优先事项，并与《关键和新兴技术国家标准战略》相衔接。该出版物建议，来自多个国家的更广泛的多学科利益相关者参与标准开发过程。

（完）

附：

事实清单：拜登-哈里斯政府宣布新的AI行动并获得额外的重大自愿承诺
九个月前，拜登总统发布了一项具有里程碑意义的行政命令，以确保美国在抓住人工智能（AI）承诺并管理其风险方面处于领先地位。
该行政命令建立在他和副总统哈里斯去年从15家领先的美国AI公司获得的自愿承诺之上。今天，政府宣布苹果公司已签署这些自愿承诺，进一步巩固了这些承诺作为负责任的AI创新基石的地位。
此外，各联邦机构报告称，他们按计划完成了行政命令中的所有270天行动，并按时完成了迄今为止要求的所有其他任务。各机构还在指导更长时间框架内的其他工作方面取得了进展。
在行政命令和副总统哈里斯在全球AI安全峰会前发表的重大政策演讲中发出的系列号召之后，政府各部门采取了大胆行动。他们采取了措施减轻AI的安全和保密风险，保护美国人的隐私，促进公平和民权，维护消费者和工人的利益，推动创新和竞争，推进美国在全球的领导地位，等等。今天报告完成的行动包括：
管理安全和保密风险
在270天内，行政命令指示各机构采取广泛行动，以应对AI的安全和保密风险，包括发布重要的安全指导并建立测试和评估AI的能力。为保护安全和保密，各机构已：

• AI安全研究所（AISI）发布了新的技术指南草案，供公众评论，以帮助领先的AI开发人员管理双重用途基础模型的误用评估。AISI的指南详细说明了领先的AI开发人员如何防止功能越来越强大的AI系统被滥用以伤害个人、公共安全和国家安全，以及开发人员如何提高其产品的透明度。

• 国家标准与技术研究院（NIST）发布了管理生成性AI风险和安全开发生成性AI系统及双重用途基础模型的最终框架。这些文件将提供额外的指导，建立在NIST的AI风险管理框架之上，该框架为个人、组织和社会提供了管理AI风险的框架，已在美国和全球范围内广泛采用。NIST还向白宫提交了一份报告，概述了减少合成内容风险的工具和技术。

• 能源部（DOE）开发并扩展了AI测试平台和模型评估工具。DOE与跨机构合作伙伴协调，使用其测试平台评估AI模型的安全性和保密性，特别是AI模型可能对关键基础设施、能源安全和国家安全构成的风险。DOE的测试平台还用于探索新的AI硬件和软件系统，包括提高AI可信度的隐私增强技术。国家科学基金会（NSF）也启动了一项计划，帮助联邦政府以外的研究人员设计和规划AI准备的测试平台。

• 报告了试点AI以保护重要政府软件的结果。国防部（DoD）和国土安全部（DHS）报告了其AI试点的发现，以应对分别用于国家安全目的和民用政府的政府网络中的漏洞。这些步骤建立在之前在行政命令180天内推进此类试点的工作基础上。

• 性别政策委员会和科学技术政策办公室发布了一项号召行动，打击基于图像的性虐待，包括由AI生成的合成内容。基于图像的性虐待已成为迄今为止AI最迅速增长的有害用途之一，该号召邀请技术公司和其他行业利益相关者加以遏制。这个号召源自哈里斯副总统在伦敦AI安全峰会上的讲话，强调深伪图像性虐待是一个紧迫的威胁，需要全球行动。

将AI人才引入政府
去年，行政命令启动了一项全政府范围的AI人才激增计划，正在将数百名AI和AI相关专业人员引入政府。招聘的人员正在从事关键的AI任务，例如为使用AI进行许可的努力提供信息，建议联邦政府的AI投资，制定政府使用AI的政策。
为了增加联邦政府在国家安全和非国家安全任务中的AI能力，AI人才激增计划迄今已进行了200多次招聘，包括通过总统创新学者AI组和DHS AI军团。在AI人才激增6个月报告的基础上，白宫科学技术政策办公室宣布了来自整个技术生态系统的新承诺，包括近1亿美元的资金，以加强更广泛的公共利益技术生态系统，并建立将技术人员引入政府服务的基础设施。推进负责任的AI创新
拜登总统的行政命令指示采取进一步行动，抓住AI的承诺，深化美国在AI创新中的领先地位，同时确保AI在我们的经济和社会中的负责任发展和使用。在270天内，各机构已经：

• 编写并将很快发布一份关于双重用途基础模型的潜在利益、风险和影响的报告，这些模型的模型权重广泛可用，包括相关的政策建议。商务部的报告借鉴了对专家和利益相关者的广泛外展，包括数百条在此主题上的公众评论。

• 通过国家AI研究资源（NAIRR）试点项目为80多个研究团队提供了计算和其他AI资源的访问权。NSF领导的NAIRR与DOE、NIH及其他政府和非政府合作伙伴合作，为全国的AI研究和教育社区提供支持。支持的项目将解决深伪检测、推进AI安全、实现下一代医疗诊断和进一步推进其他关键的AI优先事项。

• 发布了一份为教育中使用的安全、可靠和可信AI工具设计指南。教育部的指南讨论了教育技术的开发者如何设计有利于学生和教师的AI，同时推进公平、民权、信任和透明度。这项工作建立在教育部2023年报告的基础上，该报告概述了在教学和学习中使用AI的建议。

• 发布了关于评估涉及AI技术的发明专利申请的专利权利要求资格的指南，以及其他新兴技术的指南。美国专利商标局的指南将指导在AI领域进行发明的人保护其AI发明，并帮助专利审查员审查涉及AI发明的专利申请。

• 发布了一份关于过去四年推进可信AI的联邦研发（R&D）报告。国家科学技术委员会的报告审查了近30亿美元的年度联邦AI研发预算。

• 启动了一项2300万美元的计划，以促进隐私增强技术的实际应用，包括与AI相关的应用。NSF通过其新的隐私保护数据共享实践计划，与行业和机构合作伙伴一起投资于应用、成熟和扩展隐私增强技术的努力，并建立测试平台以加速其采用。

• 宣布了数百万美元的进一步投资，以推进整个社会的负责任AI开发和使用。这些投资包括通过NSF的“新兴和新技术体验学习计划”投资的3000万美元——该计划支持包括AI在内的领域的包容性体验学习，以及通过NSF的ExpandAI计划投资的1000万美元，该计划帮助少数族裔服务机构建立AI研究能力，同时培养多样化的AI准备劳动力。

推进美国在全球的领导地位
拜登总统的行政命令强调美国在解锁AI潜力和应对其挑战方面的全球领导地位。为了推进美国在AI方面的领导地位，各机构已经：

• 发布了一项关于美国参与全球AI标准的全面计划。该计划由NIST制定，结合了广泛的公共和私营部门输入，确定了AI标准工作的目标和优先领域，并为美国利益相关者包括美国机构制定了行动方案。NIST和其他机构将在180天内报告优先行动。

• 制定了管理AI对人权构成的风险的指导。国务院的《AI和人权风险管理概况》——与NIST和美国国际开发署密切协调制定——基于NIST的AI风险管理框架，向全球的政府、私营部门和民间社会推荐行动，以识别和管理AI设计、开发、部署和使用中对人权构成的风险。

• 启动了一个全球AI安全研究所网络和其他政府支持的科学机构，以在技术层面推进AI安全。这个网络将加速关键信息交换并推动共同或兼容的安全评估和政策。

• 发起了一项具有里程碑意义的联合国大会决议。该决议获得一致通过，拥有超过100个共同发起国，制定了各国推动安全和可靠使用AI以应对全球挑战的共同愿景。

• 扩大了对美国主导的《负责任的军事使用人工智能和自主权政治宣言》的全球支持。现在已有55个国家支持这一政治宣言，宣言概述了一套关于负责任开发、部署和使用军事AI能力的规范。

产品服务

01

前瞻研究

02

中心动态

03

数据信任与治理

“数据信任与治理”由下一代互联网国家工程中心运营。放眼全球数据治理前沿理论与实践进展，探索可信数据治理的中国模式，促进数据要素有序流通，释放数字经济红利。

TDG focuses on the cutting-edge theory and practice of global data governance, explores the Chinese model of trusted data governance, promotes global data flow, and fulfills the potential of the digital economy.