【科技参考】经合组织发布推进AI问责制报告

科情智库

2023年2月，经合组织（OECD）发布《推进AI问责制：围绕可信赖AI生命周期的治理和管理风险》报告，介绍了如何整合风险管理框架和AI系统生命周期，探索了有助于实施“基于价值观的可信赖AI原则”的流程和技术属性，确定了围绕AI系统生命周期定义、评估、处理和管理风险的工具和机制。

一

定义：范围、背景、参与者和标准

定义AI风险的范围、背景、参与者和标准是管理AI系统风险的第一步，这因AI系统应用案例和背景而异。AI系统生命周期可以作为理解和分析AI系统范围和特征的工具，主要包括以下几个阶段：系统的规划和设计、采集和处理数据、构建和使用模型、验证和确认模型、部署系统（包括AI系统投入使用和投放市场）、运行和监测系统。AI系统的背景包括其社会经济和物理环境及其对人类和地球的潜在影响。调查AI系统的背景和范围还包括了解如何开发和维护系统，系统是由内部建设还是由第三方建设。AI系统的责任由AI参与者分担，包括AI知识和资源的提供者、AI生命周期的参与者、AI系统的使用者以及直接间接受AI系统影响的利益相关者。所有参与者应根据其角色、背景和技术来管理AI风险。确保AI问责制的一个步骤是要把AI伦理原则和特定的过程与技术特征联系起来。AI风险可以从两个层面来评估，一个是基于价值观的AI原则层面的风险，另一个是技术层面的风险。确保AI问责制需要将AI原则与特定的过程和技术属性一一对应起来。

二

评估：识别和测量AI风险

一旦定义了AI系统的范围、背景、参与者和标准，就必须评估其所带来的风险，以及可能导致AI系统无法实现其可信赖目标的风险。该过程包括识别或发现风险，分析这些风险可能发生的机制，评估其发生的可能性及其严重性。OECD的AI原则包括造福人类和地球、以人为本的价值观和公平、透明度和可解释、鲁棒性和安全性、问责。评估AI风险的概念和措施与这些原则相关。

首先，确保AI系统造福人类和地球需要评估和改进AI系统的性能、准确性和可持续性，还需要评估AI系统对人类福祉和经济包容性产生的影响。其次，与以人为本的价值观相对应的AI风险包括偏见和歧视风险、隐私和数据治理风险以及对其他人权和民主价值的风险。AI系统的设计要有适当的保障措施，包括适当的人为干预、监督和纠正能力，保证系统行为与以人为本的价值观一致。再次，能够对AI系统的结果提供清晰而有意义的解释，并保证系统的透明度和可追溯性对于建立和维护用户信任至关重要。解释AI系统结果的工具和技术有多种，可以是特定模型或模型不可知的技术，也可以是局部或全局可解释性的技术。记录AI系统生命周期各阶段的风险管理流程和决策有助于提高透明度、可追溯性和问责制。最后，AI系统的鲁棒性、安全和安保问题是相互关联的，相关的技术概念包括抗攻击能力、通用的安全与后备计划以及可信赖、可重复、可再现、可复制和可预测。

三

处理：预防、减轻或消除AI风险

AI风险处理是指考虑到每种风险的可能性和影响，用于预防、缓解或停止风险的技术。风险处理策略分为两种互补的措施，一种与流程相关，AI参与者基于流程、管理和治理机制协作、设计和开发AI系统，如要求描述AI模型或训练数据的特征或确保符合安全规定；另一种与技术相关，涉及AI模型、模型开发和使用的问题，如实施保护隐私的机器学习框架。对于引起不利影响的风险，可能需要采取补救机制和补救措施。一方面，应预测已知和未知的AI风险，未知风险可能包括鲁棒性、系统的二次使用与误用、心理和社会影响以及声誉风险等。实施风险和影响评估可以在AI系统部署前期、中期和后期识别风险并设计缓解策略。另一方面，应制订应急计划，说明风险发生后减少负面影响的步骤，这是抵御风险的最后一道防线。

四

治理：监测、记录、沟通、协商与嵌入

治理能以两种方式支撑AI风险管理流程。第一，治理能够提供针对风险管理流程的审查，包括对流程和结果的监测、审查、记录、沟通和协商。第二，治理能够提供多种机制，将AI风险管理流程嵌入更广泛的组织治理中，在组织内部和整个AI价值链中培养风险管理文化。

1. 监测与审查

监测和审查风险并采取措施处理风险有助于AI系统的正确运行。考虑到AI系统的演化本质及其运行环境，监测应该是连续的，并覆盖AI风险管理流程的所有阶段。监测和审查AI模型运行情况的统计检验和技术工具包括数据漂移、预测漂移、输入数据质量和计算性能监测，非统计过程和工具包括意外事件报告、人机回圈（Human-in-the-loop）、监管沙盒、持续再培训和技能提升。除开发监测和审查流程及工具外，还必须建立沟通渠道和定期审查机制，以确保与利益相关者共享信息。监测和审查频率应适合每个AI系统的应用和环境。监测和审查过程及其结果应及时准确地记录在案，监测指标应涵盖每个AI原则下的所有已知、未知的技术和非技术风险。

2. 记录

记录风险管理期间执行的步骤、决策和行动，并解释原因，能够增强透明度并可进行人工审查，提升问责制。记录意味着保留日志或审查轨迹，还有助于为审计、认证和保险等功能提供信息。无论AI系统是内部构建还是由第三方构建，在整个AI系统生命周期中记录文档和日志都伴随系统存在。也就是说，每一方或参与者，从开发人员、供应商和部署人员都需要进行评估，并记录为管理风险而采取的行动。记录围绕AI系统及其结果所进行的风险管理活动可以改善风险管理流程本身，并加强与组织内外利益相关者的沟通和交流。风险管理记录应当在适当的情况下公开。

3. 沟通

AI风险管理的核心目标是确保AI系统的可信和安全，并保护人权和民主价值观，因此沟通AI系统是否符合监管、治理和伦理标准至关重要。沟通可能包括：如何根据通用和行业特定法规与标准确保AI系统的互操作性，随着跨境系统的出现，沟通系统是否符合国家和国际标准和法规是关键；有哪些现有的治理机制，如追踪与溯源决策与过程的技术机制、监督AI模型中的人和程序所考虑的非技术机制；如何监测和审查风险，以及存在哪些补救机制，如利益相关者提出申诉和进行投诉的流程；AI系统是否经过认证，认证可以是通用的或者针对特定领域的；AI系统是否投保，保险可以为意外风险和事件提供保护。

4. 协商

与内部和外部利益相关者（包括民间社会和受影响社区）进行协商，涉及了解建议和反馈，为影响和风险评估提供信息，并在风险管理流程的每一步管理风险。沟通和协商应在AI系统生命周期的所有阶段都进行，并在AI系统设计的早期发挥关键作用。使用外部利益相关者（包括没有技术背景的利益相关者）能够理解的方式进行沟通，便于进行有意义的对话和协商。沟通和协商的形式、费用和频率应根据具体情况进行评估。

5. 嵌入

应在组织领导团队的承诺下，在各级组织和整个AI价值链中培养和嵌入风险管理文化。风险管理流程应该被整合到组织的质量和管理系统及政策中。组织应制定、采用和传播风险管理政策，阐明组织承诺开发和使用值得信赖的AI。这些政策应纳入组织的监督机制中。风险管理期望和政策应纳入与供应商和其他利益相关者的接触中。

编译：中国科学院文献情报中心  青秀玲  董瑜

审校：中国科学技术信息研究所  张丽娟

来源：《科技参考》2023年第20期

文章观点不代表主办机构立场。

推荐阅读 >