域外观察|美国NIST发布《人工智能风险管理框架》

全文共计约3000字，细读时间约10分钟

文|杨春白雪 中国信通院互联网法律研究中心研究员

2023年1月26日，美国国家标准与技术研究院（NIST）正式公布《人工智能风险管理框架》（AI RMF 1.0），旨在指导机构组织在开发和部署人工智能系统时降低安全风险，避免产生偏见和其他负面后果，提高人工智能可信度，保护公民的公平自由权利。NIST作为美国商务部的非监管机构，该文件从性质上来讲是一份非强制性的指导性文件，供设计、开发、部署、使用人工智能系统的机构组织自愿使用。

01背景信息

人工智能技术具有改变社会和人们生活的巨大潜力，涉及商业、健康、交通、网络安全和环境保护等方方面面。人工智能在驱动经济增长、促进科学进步、改变生活条件的同时，也带来了多种形式的风险。AI RMF延续了经合组织OECD对人工智能的定义，将人工智能系统定义为针对特定目标生成预测、建议、决定的工程化或基于机器的系统，可以在不同程度上自治运行。

尽管有无数的技术标准和最佳实践可以帮助组织减轻传统软件和信息系统的安全风险，但是与之相比，人工智能系统带来的安全风险具有独特性。举例而言，当人工智能系统根据随时间变化的数据集进行训练时，这些数据时而发生的显著或意外变化，会以难以理解和解释的方式影响人工智能系统的功能和可信度。由于人工智能系统构造及其部署环境通常非常复杂，因此很难在其故障发生时及时进行检测和响应。此外，人工智能系统从本质上来讲是社会性技术，受到社会动态和人类行为的显著影响，其风险和收益可能受到来自技术方法、使用方式、系统交互、操作人员、社会环境等诸多社会因素的影响。

因此，人工智能的部署和利用具有挑战性，如果缺乏适当的控制，人工智能系统很可能会扩大、延续或者加剧个人和群体的不公平待遇。人工智能风险管理是负责任地开发和使用人工智能系统的关键组成部分，通过机构组织对潜在正负面影响的批判性思考，进而提升人工智能系统可信度，培养公共信任。此外，负责任的人工智能实践有助于人工智能系统设计、开发、使用的决策与预期目标和价值内核保持一致，即注重以人为本、社会责任和可持续性。

02系统建构

文件的主要内容分为两部分，第一部分探讨人工智能相关风险的梳理建构方法，并概述可信赖人工智能系统的特征。AI RMF将“风险”定义为事件发生概率和相应事件后果的综合度量，并对后果采取了广泛解释，即包括消极的、积极的或兼而有之的影响，意在与开发利用人工智能技术以实现积极成果的目标相呼应。“可信赖的人工智能系统”应当满足信度效度兼备、安全性和弹性、负责任且透明、可理解性和可解释性、隐私增强、有害偏见公平管理等基本要求。

文件认为，人工智能的系统风险来自多方面因素影响，在人工智能全生命周期的不同阶段也会存在不同的风险。在早期阶段衡量风险与在晚期阶段衡量风险可能会产生截然不同的结果；一些风险在特定的时间点处于潜伏状态，可能随着人工智能系统的配置和使用而逐步显现并显著增加；人工智能系统全生命周期中的风险还可能受到不同阶段参与人员的影响，不能孤立地考虑人工智能风险，而是应当与网络安全、隐私保护等其他关键风险整合起来、通盘考虑。

人工智能系统构建主要有四方面考量。一是风险框架，包括对风险、影响、危害的理解与处理，以及人工智能风险管理的挑战、风险承受度、风险等级排序。二是目标受众，理想情况下，AI RMF应当适用于人工智能的全生命周期和多维度活动。人工智能系统的全生命周期包括计划和设计、收集处理数据、建立运用模型、验证和确认、部署和使用、操作和监控六个阶段。人工智能系统的多维度以人和自然为核心，进而延伸到数据和输入、人工智能模型、任务和输出、应用环境四个方面，重点是对其进行测试（test）、评估（evaluation）、验证（verification）和确认（validation）的TEVV流程。三是风险和可信度，文章认为可信赖的人工智能系统应当满足诸多条件，上述价值考量在不同情境下需要适当的取舍与平衡，但信度效度兼备始终是首要条件和必备基础。四是有效性评估，包括衡量人工智能系统可信度基础改进的方法，涉及对政策、流程、实践、实施计划、指标、量度和预期结果的定期评估，以期提高对人工智能系统可信度特征、社会技术方法、潜在风险后果三者之间关系与平衡的认识，改进与系统风险相关的内部问责工作，优先识别和管理系统风险对个人、社区、组织和社会的潜在影响，促进有关风险、决策过程、责任、常见隐患、TEVV实践、持续改进方法的信息共享。

03框架核心

第二部分介绍了AI RMF核心的四大功能，即治理（govern）、映射（map）、测量（measure）和管理（manage），每个功能项下还分为不同的类别和子类别，通过多元化展开帮助机构组织在实践中应对人工智能系统带来的风险和潜在影响。

一是治理功能。治理是贯穿人工智能系统风险管理全过程、与其他三项功能有交叉的基础性功能，对治理的持续关注是对人工智能系统全生命周期实行有效风险管理的内在要求。具体而言，治理功能包括六个类别：一是与其他三项功能相关的政策、流程、程序和实践均应完善透明且有效实施；二是完善问责机制，便于相关人员获得授权和培训，有效负责其他三项功能开展；三是优先考虑雇员的多样性、平等性、包容性和可访问性；四是建设风险警钟长鸣的管理团队，完善风险信息交流共享；五是保持与人工智能系统受众的密切联系，跟踪并及时反馈对社会和用户的潜在影响；六是完善解决机制，及时处理由第三方软件、数据、供应链引发的风险和潜在影响。

二是映射功能。映射功能构建了人工智能系统风险管理的背景因素，由于人工智能系统的全生命周期涉及众多环节和参与人员，单一环节的负责人很难对最终结果和潜在影响进行通盘考虑，单一维度内的最佳实践很可能因为后续环节的决策实践而被削弱，这种复杂性和不可预见性为人工智能系统的风险管理实践带来了不确定性。映射功能具体包括五个类别：一是明确系统运行的相关背景因素和预期环境；二是进行系统分类；三是了解系统功能、目标用途、成本收益等信息；四是将风险和收益映射到系统的所有组件和环节，包括第三方软件和数据；五是评估对个人、群体、组织、社会的潜在有益和有害影响。

三是测量功能。测量是指采用定量、定性或混合工具，对人工智能系统的风险和潜在影响进行分析、评估、测试和控制。人工智能系统在部署前和运行中均应当定期测试，对系统功能和可信度的各个方面如实记录。测量功能包括四个类别：一是确定并采用适当的方法和指标，定期记录、评估和更新；二是评估系统的可信性特征，涉及代表性、有效性、安全性、稳健性和可持续性等；三是完善特定风险识别跟踪机制，有效处理现有的、未预料的和紧急的各种系统风险；四是定期评估和反馈测量功能的有效性，如实记录相关信息和结果。

四是管理功能。管理涉及到对系统风险因素的定期映射和测量，包括对事故和事件的响应、补救和沟通，以减少系统故障和负面影响的可能性，并根据评估结果优先排序、有效配置、定期改进风险管理资源。管理功能包括四个类别：一是基于映射和测量功能的评估和分析结果，对系统风险进行判定、排序和响应；二是制定实施最大化收益和最小化负面影响策略，明确风险响应步骤；三是有效管理来自第三方的风险和收益，定期监控记录；四是完善风险响应和恢复机制，对已识别、可测量的系统风险加强沟通交流和记录监控。

总体而言，人工智能的法律规制是当前世界主要国家的关注重点，也是实践中亟待解决的关键问题。NIST公布的《人工智能风险管理框架》为算法合规和人工智能风险管理提供了有益参考，可信赖的人工智能系统构建任重而道远。

END

往期精彩回顾