期刊发表丨贾开、赵静、傅宏宇：应对不确定性挑战：算法敏捷治理的理论界定

导 语

电子科技大学公共管理学院副教授、CIDEG兼职研究人员贾开，清华大学公共管理学院副教授、CIDEG副主任赵静，阿里研究院数字经济研究中心副主任傅宏宇合作的文章《应对不确定性挑战：算法敏捷治理的理论界定》由中国知网《图书情报知识》网络首发。

“清华大学CIDEG”特将文章内容分享如下，以飨读者。

应对不确定性挑战：

算法敏捷治理的理论界定

贾 开    赵 静    傅宏宇

摘要：[目的/意义]算法普及应用过程中的规则化转向，使得既有的“包容性自规制”或“规制性监管”路径不能很好回应算法治理的新特征与新需求，而算法敏捷治理作为“第三条道路”的重要性虽然得到承认，但其理论内涵尚不清晰。本文致力于从应对不确定性挑战视角出发，对算法敏捷治理做出理论界定。[研究设计/方法]本文以理论演绎和案例分析为主要研究方法，在理论上总结了人工智能类算法技术及应用不确定性在治理维度的具体表现和治理挑战，进而以深度合成算法的风险治理、犯罪风险评估算法的公平性治理、信息服务推荐算法的责任治理为案例，提炼了算法敏捷治理的机制创新。[结论/发现]本文指出算法治理挑战体现在共同无知、目标模糊、关系依赖三个方面，而算法敏捷治理的机制创新涵盖共同学习、同行评议、反馈迭代等不同内容。[创新/价值]本文建构的算法敏捷治理的理论框架可为未来技术监管理论发展和实践改革提供基础和参考。

关键词：算法治理，敏捷治理，不确定性

1. 算法规则化转向背后的治理迷思

以新一代人工智能技术的普及应用为代表，人类社会的数字化转型进程在体现出变革影响力的同时，也逐渐展现出新的治理风险与挑战。就当前而言，技术变革的这种“双重”影响集中体现为算法作为人类生产生活“第四种规则”的兴起，以及与之伴随的持续争议。针对算法“黑箱”、算法歧视、信息“茧房”等一系列实践问题的治理改革讨论，均体现出围绕算法规则价值属性的正当性、规则制定或调整过程的合法性、规则效力或使用范围的合理性的现实反思与理论探索。

站在规则治理视角下，算法治理相对于过往技术治理议题的创新性与复杂性逐步浮现。一方面，不同于传统技术作为工具的功能性角色，算法作为规则意味着其更深地嵌入到人类社会之中，并呈现更为复杂的双向影响关系；另一方面，不同于传统技术的价值中立定位，算法作为规则同样意味着其与多元价值目标的紧密联系，并涉及更广泛、更具关联性的治理主体与治理进程。以传统汽车和自动驾驶汽车的治理比较为例。传统汽车监管主要聚焦汽车作为产品的质量标准以及驾驶人作为产品使用者的行为规范两个环节，其分别体现了汽车作为驾驶工具的功能性定位和驾驶人作为工具使用者的行为规范两方面治理要求。相比之下，自动驾驶汽车从工具、产品向（驾驶）行为决策主体的规则化转变，使得针对其的治理必须同时面对“电车困境”、公众信任等新的治理要求和挑战。由此，算法治理议题被划分为两个对象领域：被置于传统技术治理框架下的工具治理问题，以及因算法的规则化转向而需要发展出新治理框架的规则治理问题。

工具治理和规则治理都构成了算法治理的主要内容，但规则治理更集中体现了算法治理在当前阶段面临的核心挑战，以及围绕算法治理的诸多迷思。代表性问题例如：如果算法不仅作为技术工具，那么算法治理的对象是什么？如果算法治理问题不仅体现为工具的质量与使用问题，那么算法治理所要达到的治理目标是什么？如果算法治理机制不仅体现为“命令-控制”逻辑下对于明确治理规则的遵守和执行，那么算法治理又需要实现何种新的结构化改革与发展？等等。

值得注意的是，上述问题不仅限于算法治理领域。数字技术革命背景下风险社会的不确定性和动态性已经成为普遍现象，而传统“命令-控制”式技术监管被认为并不能适应风险治理环境的变迁。政府单方面“监管模式”转向多元主体共同参与的“治理模式”成为新一代理论的起点。学者们相继提出了规制治理、实验主义治理、预期式治理、协同治理等系列理论创新，试图在市场自发秩序和政府单方面监管之间寻找第三条治理道路。在这些理论探索之中，“敏捷治理”是较有代表性的一个，其经由世界经济论坛提出后得到了不同学者的阐发与充实。尤其是在新兴技术与产业领域，在强调不同主体广泛参与的同时，敏捷治理更加注重政策工具的快速反应和适应性演化。但作为一种新的理论构想，敏捷治理的理论内涵还不够充实，其价值意义、适用条件、实现机制都是尚未得到充分回答的重要问题。本文思路即旨在将敏捷治理理念引入算法治理领域，并结合算法治理的特征与规律，探索算法敏捷治理的理论内涵，为算法治理改革提供思路上的参考与借鉴。

算法敏捷治理的理论界定需要对理论定位、对象、机制三个问题做出回答。就定位而言，其关注的是算法敏捷治理在算法治理体系中的角色和价值，即为什么需要算法敏捷治理？本文将指出，算法敏捷治理主要针对的是算法规则化转向后超越传统技术治理框架而涌现出的新问题、新挑战。算法治理在对象、问题、产出三方面的新特征，要求在治理思路、结构、机制等方面的新发展。就对象而言，其进一步解释了算法敏捷治理所要针对的具体问题，即算法敏捷治理针对的是什么？本文将指出，共同无知、目标模糊、相互依赖构成了算法治理新问题、新挑战的具体内涵，而它们也正是算法敏捷治理所要面对的主要对象。就机制而言，其探索的是算法敏捷治理解决算法治理新问题、新挑战的具体方法，即算法敏捷治理如何实现？本文将结合具体案例分析指出，针对前述三方面问题，算法敏捷治理需要发展出共同学习、同行评议、反馈修正三方面主要机制。在对算法敏捷治理做出理论界定的基础上，本文将进一步对当前的算法治理改革提出建议。

2.包容性自规制还是规制性监管？算法敏捷治理作为“第三条道路”

算法治理作为对算法技术创新应用实践的治理回应，近年来愈加凸显其重要性和迫切性。新一代人工智能技术普及应用的推动令算法治理正在成为理论研究和实践改革的焦点议题。已有研究指出，“世界嵌入软件”的数字化转型环境变迁，以及新一代人工智能技术对于“波兰尼困境”的突破，都让算法的应用广度和深度达到了前所未有的水平，引发一系列特定的治理问题与伦理挑战。但算法引致各类风险这一宽泛性研究议题，很难通过形成单方面治理路径加以解决。不同利益相关方的多视角治理探索，形成了当前全球算法治理的“包容性自规制”和“规制性监管”并存的整体格局。

一方面，沿袭长久以来针对技术创新的“包容性自规制”传统，一线的技术开发者和应用者被赋予了充分行动空间以使之能够从完善技术能力、促进技术成熟度等方面开展工作，从而回应算法治理需求。在互联网与信息时代，各界对数字技术创新及其应用持包容性的乐观态度，认为普遍性的数字化转型进程将推动人类社会进入更美好的数字未来，而这也是“请求原谅、而非允许（Ask for forgiveness Not permit）”被视为硅谷精神的原因所在。进入算法时代，这一理念被继续坚持。利益相关方在认识到算法应用会引发普遍性治理风险后提出了各类伦理性原则，以试图在引导技术发展方向的同时，兼顾技术创新的发展性要求。例如未来生命研究所提出“有益人工智能”（Beneficial AI）、英国上议院提出“伦理性人工智能”（Ethical AI）、欧盟人工智能高级别专家委员会提出并为经合组织沿用的“可信赖的人工智能”（Trustworthy AI）等。作为最关键的利益相关者，技术社群也针对具体治理问题提出了多样性的技术解决方案。例如关注责任问题的“负责任及可解释人工智能”（Accountability and Explainable AI）、关注公平问题的“平等及歧视敏感型数据挖掘”（Fairness and Discrimination Data Mining），关注隐私问题的“设计隐私”（Privacy by Design）均是典型代表。

另一方面，在深入反思“包容性自规制”有效性的基础上，利益相关方意识到“自规制”模式并不能完全控制治理风险，“规制性监管”逐渐浮现，其主要特点是以政府为代表的公权力开始进入技术创新与应用领域，通过限制性法律规范的方式来划定算法应用边界。这一理念在2018年11月法国总统马克龙在“世界互联网论坛（Internet Governance Forum）”讲话中有所呈现。马克龙认为，当前“互联网到了一个‘转折点’”，互联网业态所涌现的治理乱象表明包容宽松的监管环境并不必然使得互联网能够维系并发展联合国所确定的人类社会基本价值。以此为起点，全球各国政府近年来都开始针对数字技术的普及应用陆续制定各个方面的规制措施。具体到算法治理领域，欧盟《一般数据保护条例（General Data Protection Regulation）》、美国《算法问责法案》都是具有代表性的一般性规制文件。在智能推送、自动驾驶、生物识别、医疗器械等具体应用领域也逐渐形成了专门性的治理规则。我国近年来在算法治理领域的立法工作也进展迅速，不仅出台了《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定（征求意见稿）》等系列文件，同时还初步建立了算法备案、算法风险评估、算法分类分级管理等系列制度规则，为更全面的算法治理体系建设奠定了基础。

尽管“包容性自规制”和“规制性监管”都极大推进并完善了算法治理的改革进程，但困惑学界与实践界的问题是，当前的各方努力是否足以应对算法治理的全部挑战。换言之，前述两条路径都是对于传统技术治理思路的继承，面对算法相较其他技术的创新性和发展性特征，对其的治理能否完全沿袭传统思路？事实上，正如前文所指出，算法规则化转向的三个特征使之出现了超越传统技术的治理逻辑，从而要求新的治理思路和改革路径。

第一，治理对象的交互性。算法治理不仅以技术或技术产品作为治理对象，更体现为“算法-社会”系统的相互嵌入与结合。算法作为规则意味着算法治理所要面对的不仅仅只是技术工具或产品，规则的形成、调整、应用过程无一例外都是在算法与社会的相互影响过程中完成，而相关治理风险也相应在此过程中逐步涌现。如2013年一篇关于谷歌搜索引擎的研究显示，当搜索少数族裔名字时，带有犯罪记录的相关链接会比其他族裔有更高的概率排在前面。随后的分析显示，这种歧视并非源于搜索引擎算法设计者的主观行为，而是以“优化点击率”这一客观指标为目的算法逻辑，在与用户的长久互动中挖掘、吸收了用户的点击偏好所引致。

第二，治理问题的溢出性。算法治理不只关注技术功能上的缺陷或不足，还关心由“算法-社会”系统作为治理对象的转变背后涉及的政治性、经济性、社会性等广泛性风险。算法规则化转向的普遍性和深入性，使得算法治理与各个层面的治理目标、治理议题紧密联系在一起。如个人层面的公平、隐私、知情、劳动、自主权利，社会层面的极化、信任、意识形态，市场层面的竞争秩序，国家层面的安全保障等，都与之紧密关联。这也自然要求算法治理的边界不断拓展，并需要同时纳入多议题、多目标的复杂考量。

第三，治理产出的多样性。算法治理往往伴随治理对象、治理环境、治理目标的变化而要求形成不同产出。相比于针对传统技术明确、固定的治理制度，算法治理还要求形成动态、灵活且能够权变调整的治理关系、治理结构。这种治理模式，既包括一般性的风险与伦理原则，也包含特定治理机构或者利益相关方治理权力格局的创新与发展。

面对上述三方面新转变，无论是“包容性自规制”还是“规制性监管”都难以做出全面回应，这恰好为算法敏捷治理作为“第三条道路”提供了切入点。与传统技术治理逻辑相比，以人工智能技术为主的新兴产业敏捷治理引入了“一套具有柔韧性、流动性、灵活性或适应性的行动或方法”，在改变现有治理结构和决策制度的基础上创建了新的治理权力来源，以实现自适应、包容性、可持续的决策过程。在算法规则化发展的当下，愈加要引入敏捷思路以重塑治理形态、应对治理风险，由此引出的“算法敏捷治理”理论具有三点特征。

第一，重视解决不确定性。相比于针对确定性治理问题以形成明确治理规则或标准化治理流程的治理思路，算法敏捷治理更重视治理的“不确定性”，并要求通过对“不确定性”的具体解构来寻找权变性的治理解决方案。此时，基于经验累积而沉淀形成的治理规则，其价值更多体现为启发改革，而非不可变更的范本。

第二，强调反馈迭代信息。相比于要求一线人员严格遵守治理规则或目标的“命令-控制”式结构，算法敏捷治理更侧重于形成动态可调整、灵活可适应的多元主体间治理结构。一线人员治理中的自由裁量权被尊重的同时，其治理反馈也被纳入治理规则或流程的动态调整过程中。

第三，要求形成具有约束力的治理结构。相比于对算法设计、应用主体自规制的依赖，算法敏捷治理仍然需要具备约束性，并要求利益相关方之间形成相互制约的权力结构，以激励共同探索的治理过程。特别是一线人员的自由裁量权与来自上级或外部的监督压力并不必然构成“此消彼长”的竞争关系，而是可通过互动迭代、同行评议等其他治理机制来实现制约性平衡。

算法敏捷治理的起点是承认治理对象的“不确定性”，并在解构、探索“不确定性”的具体内涵中开启“敏捷”治理过程。在此意义上，充实算法敏捷治理理论的首要工作是界定“不确定性”的具体内涵。基于对算法治理过程不同环节的分析，本文将从共同无知、目标模糊、关系依赖三个方面刻画不确定性的内涵。值得注意的是，正如前文对“第三条治理道路”的回溯中所指出，敏捷治理只是其中较有代表性的一种治理改革思路。换言之，本文并不强调算法敏捷治理是回应算法规则治理挑战的唯一、必然选择，而只是其可能选择之一——但这也并不会否定或消解探索算法敏捷治理理论内涵的重要意义。考虑到算法治理在当前缺少整体性的理论推进，本文对算法敏捷治理理论界定的建构仍然具有启发和引领价值。

3.算法敏捷治理的对象：“不确定性”的三种形式

算法治理对象的“不确定性”是推动算法敏捷治理作为“包容性自规制”与“规制性监管”之外“第三条道路”的重要原因。深度的不确定性要求治理主体在面对算法治理问题时做出敏捷回应，但治理对象本身的复杂性、多重性、动态性会令“敏捷性”的释放面临困境。突破这一困境的重要路径则是探索“不确定性”的具体内涵。

“不确定性”一般是指由于信息缺乏而使得未来状态及其演化的可能性难以被精确计算。在统计学视角下，“不确定性”包含两种情况：一阶不确定性指未来状态的概率难以被精确计算；二阶不确定性指概率本身的计算方法也难以确定。沿袭已有研究的丰富讨论，算法治理领域的“不确定性”可在这两个层面被界定为三种表现形式：一阶不确定性的表现是算法治理风险信息难以被精确计算，呈现出“共同无知”的新特征；二阶不确定性的表现是指影响算法治理风险信息的因素、环境难以被精确计算，这又分别体现治理目标存在争议（本文定义为“目标模糊”）和治理关系存在交互影响（本文定义为“关系依赖”）两点。

3.1 “共同无知”特征与治理挑战

作为新兴技术，算法演化过程的动态性、应用方式的多样性让其治理逻辑正在从传统技术治理的“信息不对称”特征走向新兴技术治理的“共同无知”新特征。传统技术治理的治理目标明确，缘于技术创新应用引发的治理风险也较为确定。被监管者作为一线创新者和应用者拥有信息优势，对技术风险具有确定性判断，因此治理关键是通过合适的“委托-代理”结构（即使是融合了多方参与）设计来缓解信息不对称问题，以实现确定性的治理目标。相比之下，无论是监管者还是被监管者，都难以准确把握算法技术创新应用过程中可能出现的风险，以及导致风险的原因，即形成了“共同无知”的新特征。例如，无论是技术开发者还是监管者，均难以对深度合成、自动驾驶等算法的技术与社会风险做出明确判断。引致“共同无知”的原因是复杂且多维度的，算法技术本身的动态性、演化性，算法部署、应用过程涉及多主体、多目标的复杂性，算法治理风险涌现的长期性，都可能是难以被单一监管者或被监管者理解的重要因素。值得注意的是，从不确定性的理论内涵来讲，这些因素都不能被视为“暂时性无知”的过渡状态，而更多应被视为长期存在的新常态。

“共同无知”引发的具体治理挑战体现在三个方面。第一，风险的浮现是渐进的。利益相关方需要在“渐进释放的收益”与“不断涌现的风险”间作出平衡。算法技术往往在不同层面具有推动社会发展的变革潜力，但该潜力的释放需要一个技术创新应用不断扩大的过程，而在此过程中又不断涌现治理风险。此时，即使利益相关方都承认算法技术创新应用将引发治理风险，但由于“共同无知”阻碍了具体治理风险的预先识别，使得监管者只能在收益与风险间做出平衡而不能“一禁了之”或“一放了之”。第二，应对的措施是后现的。利益相关方难以提前做出治理应对，只能在算法技术创新应用过程中探索治理工具或方法。“共同无知”特征意味着新兴算法技术的创新应用究竟会对谁、产生何种类型、何种程度的治理风险并不清楚，由此要求利益相关方只能在算法技术创新应用过程中探索治理工具或方法，而难以事前作出明确制度安排。第三，治理的工具是调整的。利益相关方需要不断更新、动态演化算法治理工具或方法，以适应新兴算法技术不断扩大应用过程中所出现的多样化风险。“共同无知”需要面对的是一个不断发展、扩散的技术应用过程，而伴随应用深度、范围的增加，所出现的风险类型以及性质都将随之变化，这又反过来要求治理工具或方法的适时调整。

3.2 “目标模糊”特征与治理挑战

算法治理风险的二阶不确定性要关注影响风险概率计算的方法与环境。“治理目标”作为引导算法治理改革的努力方向，其本身内涵的模糊性将影响治理风险评估的确定性。算法治理目标的模糊性在很大程度上源于“算法-社会”系统的复杂性。传统技术系统自身的运作逻辑、功能性能、应用场景都是明确的，其引致风险的原因以及需要实现的治理目标往往也较为明确。例如，传统汽车风险治理的目标是产品安全与驾驶安全，二者都较为明确且有章可循。但算法治理对象从单一的算法技术系统演变为复合型的“算法-社会”系统，算法和社会的两方原因使得治理目标的模糊性成为必然要面对的新挑战：一方面，“社会”本身的复杂性将在探索算法治理进程中逐渐体现出来，使得算法治理目标不局限于传统技术治理所聚焦的功能性目标，而将进一步涵盖多重价值性目标，且多重目标之间往往存在相互竞争的张力关系，并因此需要平衡取舍；另一方面，算法嵌入社会的过程将进一步放大治理复杂性，算法与社会的相互影响在形塑新规律和新机制的同时，将导致治理目标本身处于不断动态变化过程之中。例如对于自动驾驶算法风险治理而言，不仅要考虑产品安全和驾驶安全，还要考虑隐私安全、合伦理性、社会可接受度等其他治理目标。

算法治理“目标模糊”引发的治理挑战体现在三个方面。第一，治理目标间存在张力与冲突。算法治理包含的多重目标往往并不一致，这导致算法在嵌入社会系统并引发治理风险后，治理目标的选择需要在平衡中作出取舍。多重治理目标间的“平衡”不仅体现为算法应用赋能发展的收益目标与风险治理目标的平衡，更体现为风险治理目标中的不同子目标间存在相互冲突并需要作出取舍。第二，治理目标将随场景而变化。算法作为一般通用技术能够被用于不同社会场景的多样性，以及社会场景将不断演化的内在规律，决定了算法治理目标将呈现出因场景而变的多样性和动态性。多样性是指对于相同算法，其治理目标将跟随算法应用场景的变化而变化；动态性是指算法技术和社会环境一直处于变化进程中，无形中要求算法治理目标伴随着前者而变。第三，治理目标存在时间权变性。算法治理目标不仅取决于其所应用的当前情景因素，而往往涉及该情景因素的历史演化进程而表现出权变性。此时需要考虑的历史演化因素既包括以规则、文化等形式表现出来的环境因素，也包括以理念、偏好、动机等形式表现出来的利益相关方行为因素。

3.3 “关系依赖”特征与治理挑战

影响算法治理二阶不确定性的另一重要因素是治理主体之间所形成的治理结构关系。如果治理目标能够引导治理改革的努力方向，治理结构关系便决定了不同治理主体如何参与治理进程以及对治理风险作出应对的方式。在传统技术治理过程中，治理主体相对独立并主要基于明确治理规则展开治理活动，治理结构清晰稳定；与之相比，算法治理在难以形成具体治理规则或实现具体治理目标的情况下，治理重点将转变为在监管者、被监管者及其他利益相关方之间形成协同合作、敏捷回应的相互依赖关系，这种治理结构关系是决定治理效果的关键。

算法治理中出现“关系依赖”特征的原因，同样可归结于治理对象从算法技术向“算法-社会”系统的转变。一方面，在“算法-社会”系统框架下，算法的技术功能（例如排序、分类等）扮演着社会规则的作用，这让算法治理体现出针对“规则”治理的特征，而社会规则的本质即是对利益相关方关系的塑造与调整。另一方面，算法技术“黑箱性”以及“算法-社会”相互影响关系的复杂性，让这种“新型”社会规则的形成、调整与变化并不为人所熟知，此时的治理目标便不再旨在形成具体治理规则，而是要求利益相关方间形成互信、共识的治理关系，从而促进对话并磋商治理内容。

算法治理的“关系依赖”特征将同样带来三方面治理挑战。第一，“可解释”问题阻碍信任达成。“算法-社会”系统存在“可解释”的功能性约束，算法创新应用的内在逻辑的复杂性“黑箱”将阻碍利益相关方之间形成相互依赖的信任、合作治理关系。“可解释”挑战不仅局限于建立在新一代人工智能基础上的算法技术逻辑，同时还体现为纳入行为复杂性、环境复杂性考虑的社会系统逻辑[28]。尽管算法可解释技术正在快速发展，但如何将社会复杂性（例如对于价值目标、社会心理、制度共识等非量化指标的计算）纳入算法治理进程仍然存在诸多挑战。第二，算法规则化的合法性面临质疑。算法的规则化转型在挑战既有规则制定权时面临合法性质疑。以数字平台为代表的新兴主体正在成为数字规则的制定者，但缺乏历史权威或程序权威的支撑使得该规则的形成过程及其效力存在合法性“赤字”。调整传统规则制定的权力结构，并使得新兴数字平台得到治理合法性的认可，将不仅局限于治理效率的提升，还要求多重机制的并行改革。第三，固有组织的结构性边界约束。长久以来各利益相关方基于固有组织边界所形成的结构性条件，将阻碍相互依赖关系的形成，而打破结构性约束的改革仍然面临着路径依赖效应的桎梏。举例而言，政府作为监管者的“重责任、厌风险”的结构性特征，使得政府部门很难打开组织边界，并难以与企业、社会形成敏捷互动；同时，企业各自为政的“经济人”行为特征，也使得它们更多采取“搭便车”策略而影响集体行动和公共利益的达成。

4.算法敏捷治理的机制回应：共同学习、同行评议与反馈迭代

面对共同无知、目标模糊、关系依赖这三种不确定性的算法治理挑战，如何发展算法敏捷治理机制予以有效应对？事实上，现实中的企业与政府已在不断探索治理经验，并逐步浮现出一些具有代表性的敏捷创新机制，但仍然还缺少系统性梳理与整合。围绕深度合成算法的风险治理、犯罪风险评估（COMPAS）算法的公平性治理、信息服务推荐算法责任治理等三个现实中已浮现的算法治理代表性案例，本文识别出共同学习、同行评议、反馈迭代三类算法敏捷治理的机制创新，以分别回应共同无知、目标模糊、关系依赖这三种治理不确定性挑战。

值得强调的是，这三类治理机制与其说是排他性的“最优机制”，不如说是能够启发更多类似机制创新的“标杆示范”。在算法敏捷治理的理论框架下，机制探索的目标并不在于给出在不同算法治理场景下都可适用的普适性、通用性解决方案，而是通过代表性案例的治理经验总结出可供其他算法治理场景参考并进一步演化的起点。在越来越多的案例被挖掘的基础上，由越来越丰富治理机制所组成的“治理工具箱”便可能形成，从而为利益相关方在不同算法治理环境下的动态、即时调整提供素材。在此意义上，本节所总结的三种机制创新，其理论价值应被视为启发利益相关方未来改革的思想起点，而非指导其应“做什么”和“如何做”的具体方案。

4.1 应对“共同无知”的“共同学习”机制

“共同无知”表明监管者和被监管者都难以准确把握算法技术创新应用过程中可能出现的风险以及导致风险的原因，这一特征在深度合成算法的创新应用中体现得尤为明显。深度合成算法是近年来颇受关注的基于新一代人工智能技术的算法创新与应用。在2022年1月国家网信办发布的《互联网信息服务深度合成管理规定（征求意见稿）》（以下简称《管理规定（征求意见稿）》）中，深度合成算法被定义为“以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术”，而其引发的治理挑战体现在三方面。

第一，需要在收益与风险间做出平衡。深度合成算法在生成稀疏科研数据、降低生产成本方面具有积极作用，却也引发了假新闻、声誉诽谤、舆论操纵等重大社会或政治风险。第二，难以提前预知有效治理工具或方法。深度合成算法的应用风险主要集中于内容治理领域。该领域的传统治理经验（例如要求使用者和发布者实名认证、要求对生成内容进行标识、要求平台提供救济渠道等）在很大程度上都被沿袭至深度合成领域，但这些经验能否有效回应算法技术与应用创新的新挑战，仍然不得而知。举例而言，“对深度合成内容进行标识”作为治理要求在《管理规定（征求意见稿）》中被提出，但深度合成内容能否被全面标识、究竟用何种方法进行标识、如何标识、在何种范围内进行标识等都是制约该治理要求落地的重要问题。第三，要持续更新治理工具或方法以适应技术及业态的动态演化。深度合成算法技术及其应用的动态演化特征体现在“攻（合成）”与“防（识别）”存在技术不对称性、业态格局将固化“攻防”差距、业态创新将放大“攻防”差距三点。面对这些新特征，我们难以仅通过技术方案作出回应，而是需要不断迭代、发展治理工具或方法。

当前，算法敏捷治理对于深度合成算法风险治理“共同无知”特征的回应，集中体现为“共同学习”机制的形成与探索。“共同学习”是指监管者与被监管者同时从治理过程中积累经验与知识，并基于交流、共享进而探索合意的治理方案。阿里巴巴集团利用数字水印来治理深度合成算法风险便是“共同学习”机制的典型案例。数字水印分为“暗水印”和“明水印”两种，前者确保可追溯、可验证，后者确保用户知情权。在阿里巴巴的传统思路下，数字水印本身是被用于电商平台知识产权保护的治理技术，并非专门针对深度合成算法治理而开发。随着《管理规定（征求意见稿）》发布后，针对深度合成内容的“标识要求”倒逼着企业作为责任主体寻找具体治理方法，数字水印技术由此被转用于该领域而成为备选项，并在逐步探索过程中演化出“暗水印”和“明水印”等不同类型，以兼顾差异化治理需求。

在此案例中，我们不难发现监管者在发布治理规则时并不知道“标识要求”将如何落实，而被监管者在开发具体技术方案时也不了解其是否具有治理价值，只有将二者结合在一起的“共同学习”过程才可能克服“共同无知”的治理挑战，并不断挖掘新的治理工具与方法。这一治理经验事实上也得出如下启发：对于监管双方而言，“共同无知”并非算法治理的“梦魇”，即使监管者在制定治理要求时缺少落地支撑、被监管者在开发治理工具时缺乏方向引导，但在“共同学习”的过程中二者仍然有可能实现有效结合，进而对新兴挑战做出敏捷回应。

4.2 应对“目标模糊”的“同行评议”机制

“目标模糊”指出了算法治理目标的多重性、动态性、权变性特征，广受争议的犯罪风险评估算法（COMPAS算法）的公平性治理案例即是典型代表。COMPAS算法是1998年由Northpointe公司推出的一种犯罪风险评估算法，其主要功能是评估罪犯的再犯风险，并被用于司法假释、社区矫正、监狱管理等多个场景，以指导司法人员的决策判定，帮助罪犯重新进入社会且减少罪犯再犯风险。虽然相关报道指出COMPAS算法是美国刑事司法中使用最广泛的算法之一，已有46个州使用并评估了100多万名罪犯的再犯风险，但COMPAS算法也可被视为争议最大的犯罪风险评估算法之一。

围绕COMPAS算法的治理争议主要聚焦在公平性问题上。2016年，非营利机构ProPublica对佛罗里达州的COMPAS算法系统研究发现，非裔美国人被告比白人被告更容易被错误地标记为高再犯风险，白人被告比非裔被告更有可能被错误地标记为低再犯风险：两年内没有再犯的非裔被告被错误归类为高风险的可能性接近白人被告的两倍（45%：23%）；在接下来的两年内，再次犯罪的白人被告被错误地贴上低风险标签的几率几乎是再次犯罪非裔被告的两倍（48%：28%）。但另一方面，这并不代表COMPAS算法就具有歧视问题。其他学者的进一步研究发现，COMPAS算法对不同种族犯罪风险评估结果的差异主要体现在事实上没有再犯的人群中，而对于事实上再犯人群而言，其在不同种族间的评估结果是一致的：对于没有累犯的报告，非裔美国人获得COMPAS高分的可能性大约是白种人的两倍（42.34%对22.01%）；但对于再次犯罪的报告，非裔美国人获得中等或较高分数的可能性几乎与白种人类似（64.95%对59.48%）。以上研究和实践争议可以看出，COMPAS算法事实上是在“确保社会安全（即在被假释的人群中要避免再犯风险预测失误）”和“确保个人权力保护（即在未被假释的人群中要避免再犯风险预测失误）”两种“公平”观中选择了前者。从而，判定COMPAS算法是否存在算法歧视问题的主要原则并不来源于其技术或应用逻辑，而是取决于社会各界如何对“公平”这一治理目标做出定义与选择。

以上对COMPAS算法公平性治理目标模糊性的解释过程，客观上也揭示了敏捷治理机制的应对过程。面对“目标模糊”类的治理问题，尽管针对具体歧视问题的矫正或救济是重要的，但更为重要的是识别治理目标模糊性在该议题上的不同体现，并针对算法技术和应用逻辑的选择给出合理性解释——而这便体现为“同行评议”机制。通过来自同行的讨论、交流和议论，可以促发治理目标的模糊性不断厘清。在COMPAS案例中，无论是作为COMPAS算法的设计者（Northpointe公司）、部署者（各州部门），还是第三方部门（例如非营利机构ProPublica、其他学者），各方主体从不同视角对此案例展开的深度研究分析、对比，才最终完整勾勒出COMPAS算法公平性治理的全部内涵。

4.3 应对“关系依赖”的“反馈迭代”机制

“关系依赖”作为算法治理不确定性的第三个特征，其强调算法治理在很多时候难以形成具体治理规则或实现具体治理目标，此时治理重点应转变为在监管者、被监管者及其他利益相关方之间形成协同合作、敏捷回应的相互依赖关系。但是“算法-社会”系统作为被治理对象在可解释方面的功能性约束、数字平台公司在算法规则制定过程中合法性质疑，以及利益相关方基于固有组织边界所形成的结构性条件，仍然阻碍着相互依赖关系的形成。现实中，我国有关信息服务推荐算法责任治理案例的实践探索则为突破这种约束条件提供了有益参考，其中所涌现的治理经验可被总结为“反馈迭代”的机制创新。

2021年12月国家网信办联合工信部、公安部、国家市场监督管理总局共同发布《互联网信息服务算法推荐管理规定》（以下简称《管理规定》），其中明确提出了算法备案的治理要求，以落实算法推荐服务提供者的算法治理主体责任。算法备案制度是当前我国监管敏捷的具体体现，其以更加柔性的方式来应对治理过程的不确定性。但算法治理的“关系依赖”特征意味着仅通过文本规则对利益相关方的责任义务进行规定并不能有效回应治理要求，在算法备案要求落实过程中涌现出的若干实践难题即是对此的证明。

首先，算法备案对象范围不清晰。《管理规定》确定的五类算法被广泛应用于各个业态场景（电子商务、劳动调度、内容资讯等）、以不同形态呈现出来（App、小程序、网页或SaaS）、具有不同影响力（例如不同App的用户数量差异显著）。于这些异质性特征，哪些应属于要求备案的对象、应按照何种标准来确定或选择备案对象，都构成了算法备案制度执行过程中的实践困扰。其次，算法备案内容存在争议性。尽管监管部门提供了要求备案内容的文件模版，但针对每一项内容应达到的细化程度，以及当要求备案内容与其他法律权益（例如商业秘密保护或个人信息隐私保护）产生冲突时如何兼顾不同治理要求，都是亟需事先或事中进行明确才能有效落实。第三，备案作为治理工具的目的及后续环节不明确。算法备案作为算法责任治理的环节之一，其定位与目的将同样影响被监管者的决策选择。究竟将算法备案视为事前免责的前提，还是事后追责的依据，将会对备案对象及内容确定产生迥异影响。鉴于算法备案制度还处于初创阶段，一般性的算法责任治理体系正处于形成过程中，监管者究竟如何定位算法备案制度的角色和作用仍然并不清晰。

算法备案制度实施过程中的上述三方面问题并不意味着需要通过进一步明确规则来加以解决，其恰恰证明了算法治理规则不可能得到真正的确定。在此情况下，转而通过形成相互依赖的治理结构关系，才反而是突破困境的可能机制。例如，算法推荐服务提供者普遍性地采取了与监管部门保持高频沟通的方式以为算法备案执行过程中存在的不确定情况找到“满意解”，而监管部门也通过判定算法备案文件的完整性与否来做出回应。此时，企业作为被监管者向监管者“反馈”执行过程中遇到的难题——这些难题往往都是监管者在制定规则时难以完全预料到的——而监管者则根据企业反馈对规则执行预期要求做出修正性“迭代”，在反馈迭代的过程中二者既回应了“关系依赖”的治理挑战，也能够实现算法责任治理的宽泛目标。但调研过程中仍然发现，反馈迭代机制的实现还并不彻底。例如在反馈维度，不同企业都同时面临算法备案的治理要求，但企业之间的经验交流、信息共享仍然很不充分，这使得执行反馈都是基于单个企业与监管者之间，而未形成更为广泛的联动；在迭代维度，监管者对于企业反馈信息的回应还不够敏捷，政府部门本身的组织边界和行为模式仍然限制了其向被监管者提出问题并共同探索答案的可能性。即便如此，就当前算法备案制度的执行结果来看，反馈迭代机制仍然在一定程度上得到了实现，而这也最终回应了算法治理在“关系依赖”方面的治理需求。

5.结论与讨论

算法技术创新应用本身的独特性，使之不同于传统技术治理逻辑而要求算法治理思路和体系的转变，算法敏捷治理由此作为不同于自规制和政府规制的“第三条道路”开始涌现在人们面前。但究竟如何理解算法敏捷治理的必要性、如何界定其所要解决问题的特殊性、如何充实其治理机制内涵的丰富性，仍然是摆在理论研究和实践改革面前的难题。本文围绕定位、对象、机制三个部分的分析，对算法敏捷治理的理论内涵做出了较完整界定，有利于未来研究者和决策者的进一步理论展开与实践实验。

不过仍然值得强调的是，从理论内涵来看，本文从共同无知、目标模糊、关系依赖三个方面对算法治理对象不确定性的解构，以及从共同学习、同行评议、反馈迭代三个方面对敏捷治理机制的对应总结，都应被视为算法敏捷治理理论分析的“起点”而非“终点”。所谓“起点”，是指它们都应被视为将抽象概念（例如在算法治理领域经常被提及的“不确定性”）具象化的一种理论努力，并因此可作为未来进一步展开的基础和前提；“而非终点”，是指它们都不应被视为不可改变、必须遵守的框架条件。正如算法敏捷治理本身理念所表达的，如果要实现治理主体面对治理问题时的敏捷回应，任何结构性约束条件都是需要被克服的对象。在此意义上，本文的理论讨论，更适合被视为可供参考的“工具箱”，而非必须执行的“清单”，这也才能为未来更丰富的理论讨论与实践探索提供思想解放和制度创新的开放空间。

【作者信息】贾开，电子科技大学公共管理学院副教授；赵静，清华大学公共管理学院副教授；傅宏宇，工业和信息化法治战略与管理重点实验室副教授。

【文章来源】《图书情报知识》网络首发，2023年3

阅读原文

请您扫描以下二维码阅读文章全文

编辑：吴宇涵

推荐阅读

同步关注CIDEG自媒体平台

CIDEG视频号

CIDEG视频号