治理之智 | 算法影响评估的三个基本问题：制度定位、机制模式与改革启示（上篇）

摘要：

人工智能技术和应用的迭代创新正在推动算法影响评估作为一种新的并在全球兴起的技术治理制度。虽然继承了环境影响评估、数据保护影响评估等类似制度的部分要件，但算法应用浮现出的社会嵌入性、难解释和难穷尽、公平性悖论等新特征，要求算法影响评估作出新的制度发展。算法影响评估的制度内涵在于平衡“开放性”和“责任性”，并最终致力于形成合作治理框架，以实现动态积累治理经验与知识的目标。通过对欧盟、美国、英国、加拿大等主要国家或地区算法影响评估的实践梳理，认为列表清单、底线规制、放权赋能等三种实践模式在体现各自特征的同时仍然存在不足。由此启发，算法影响评估的制度构建应围绕“合作治理作为制度目标、探索平衡开放性与责任性的关键机制、坚持‘技术-组织-社会’的系统论思维”三个维度展开，而相应的机制设计将助力算法影响评估制度的改革完善与实践应用。

一、引言

伴随着新一代人工智能技术的跨越式发展与普及应用，人工智能治理的重要性得到了多方共识。算法影响评估作为治理层面的重要制度创新，也被越来越多的国家政府所采纳，甚至成为人工智能治理的基石之一。典型代表例如美国、欧盟、加拿大都在人工智能治理框架中引入了算法影响评估要求。在中国，算法影响评估已被视为一般性治理原则而纳入国家或地方出台的多部法律规章之中。例如《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》都明确提出了开展算法安全评估的治理要求。2024年2月，全国网络安全标准化技术委员会发布的《生成式人工智能服务安全基本要求》（以下简称《安全基本要求》）更是将算法治理原则转换成了具体可执行的评估要求。这一非强制性技术文件可被视为我国国家层面治理机构第一次对算法影响评估提出的实质性治理意见，对于我国完善算法影响评估制度建设具有关键性的推动作用。同时，这也标志着算法影响评估已继算法备案、算法分级分类之后，成为敏捷治理理念指引下的新一类算法治理工具与政策实践。

尽管当前国内外政策实践已围绕算法影响评估展开了积极探索，提出了一系列评估要求甚至在部分领域形成了详尽的指标体系，但算法影响评估作为一种治理制度，其在若干关键问题上仍然未得到清楚解释：为什么算法治理需要算法影响评估（制度定位）、算法影响评估制度设计过程中需要考虑的关键机制是什么（制度内涵）、算法影响评估制度落地的实践模式是什么（制度表现）。对这些问题答案的探究，不仅涉及算法影响评估制度的理论解释，同时也是对实践困惑乃至实践乱象的回应。以《安全基本要求》为例，尽管其提出了明确的评估要求，但诸如评估结果应如何与算法备案和算法分级分类治理等制度要求相衔接、评估结果究竟应作为事前准入的监管要求还是事后追责的评判标准、自评估或第三方评估的有效性应如何界定、评估基准如何取得行业共识、监管者与被监管者之间究竟是“监督-执行”关系还是合作治理关系等问题，仍然是迫切需要回应的重要实践挑战。也正因为在这些问题上的模糊理解，导致算法影响评估同样可能演化为“监管套利”的工具而非提升算法治理水平的“良药”。

从相关文献来看，围绕算法影响评估主题的制度研究还不够充分。已有研究大致遵循了比较制度分析的思路，或者参考环境影响评估、隐私影响评估、个人信息保护评估等类似制度，或者以国际上某些较成熟的政策实践为基准，对算法影响评估的国内制度建构提出一些建议。这一思路固然能够丰富算法影响评估的制度内涵，但却不能构建逻辑自洽的算法影响评估制度理论。一个典型问题例如，诸多研究以环境影响评估制度为参考，认为算法影响评估制度需要强化问责、公开，但却忽视了源起于欧盟《通用数据保护条例》的数据保护影响评估制度却并不要求强制公开。由此引发的制度疑惑便在于：为什么同为影响评估，环境影响评估和数据保护影响评估的公开性要求不同？算法影响评估究竟应该参考环境影响评估还是数据保护影响评估？对该问题的回答无法仅从政策实践中找答案，而需要回到算法影响评估本身的制度逻辑、制度理论中去，这也正是本文的边际贡献所在。

二、算法影响评估的制度定位：

算法治理的制度困境与突破

一般理解认为，算法影响评估作为影响评估制度在算法治理领域的延伸，其分析单位应是算法系统的设计与应用过程，而分析对象则是该过程对个体、集体或环境等各个维度的多类型影响。这一定义看似清晰，却并没有对根本性制度问题做出界定和回答。典型疑惑如为什么算法治理需要影响评估，评估目的是作为监管惩处的依据还是服务于治理知识的累积，算法评估与算法审计等相关制度的联系和差别是什么，等等。概括而言，这些疑惑事实上都围绕着“为什么需要算法影响评估”这一问题而展开。下文将以算法歧视治理议题为例，对算法治理不同于传统技术治理议题的特殊性做出说明，进而解释算法影响评估制度在回应此种特殊性方面的价值。

算法歧视风险可能是人工智能技术普遍应用以来被频繁提及的算法治理风险之一，其普遍存在于各个决策场景（例如招聘简历筛选、信用评分评级、公共服务审核批准、犯罪风险评估、警力资源部署等），而这些决策场景往往都跟人们的切身利益紧密相关，尤其是与社会公平以及少数或弱势群体的特殊属性紧密相关，涵盖性别、种族、肤色、身体、收入、地域、行为偏好等指标。一般而言，从算法作为决策的技术功能实现逻辑和流程来看，引致算法歧视风险的原因主要可被总结为三点：算法决策目标选择的主观性偏差，具体指标既定前提下的数据集采纳和指标测度偏差，在指标和数据集既定前提下的模型架构采纳选择偏差。然而，理解了上述三点原因是否就意味着算法歧视治理问题就迎刃而解了呢？可能并非如此，算法歧视治理的复杂性和特殊性主要体现在以下两个层面。

一方面，建立在过错原则基础上的现行反歧视法律框架，不仅要求明确权益侵害的现实，还要求明确导致权益侵害过错的因果链条，而这二者在算法决策环境下都将面临新的不确定挑战。在传统的非算法决策环境下，导致歧视结果的原因往往是可解释、可重复、可预 期的；相比之下，算法决策逻辑则相反，尽管决策结果 基于概率计算的统计特征是可预期的，但每一次决策结果并不确定，由此使得歧视结果的追踪、确认必须建立在连续且大量的测试、记录、统计基础上，这也自然增加了歧视性权益侵害确认的成本和难度。同时，反歧视法律框架要求将决策者行为与被决策对象所处社会环境相独立，并通过比较可能的不同决策方案以判断决策者实际行为在影响受保护权益属性方面是否“中立”。然而，算法决策的嵌入性与不可穷尽性使这一“中立”原则面临新挑战：就嵌入性而言，与非算法决策相比，算法决策与社会环境的相互影响关系更为复杂，基于数据训练的技术逻辑导致其很难被独立于社会环境；就不可穷尽性而言，算法决策技术方案的多样性使得证明某一特定决策算法的歧视性最低（或“中立性”最强）较为困难。这也使得我们往往只能比较算法决策与非算法决策，而不能穷尽不同算法决策方案之间的结果差异，由此司法责任的界定标准也只能演化为判断算法决策者是否尽到了比较义务而非是否采用了“最中立”算法。

另一方面，歧视作为一种社会建构问题，在算法普及应用的情况下将可能出现过度简化或过度复杂化的双重困境，而它们都不利于针对算法歧视的追责与救济。诸多研究已揭示，歧视更多表现为社会建构问题而非生命特征属性问题，即歧视性结果并非源于不同个体生命特征属性的差异，而是社会生产生活进程的演化结果。例如，导致黑色族裔人群歧视性结果（或分化性结构）的根本原因是其成长、学习、工作的整个社会生产过程，而并不一定是种族或肤色等表面生命特征。在反事实假设情况下，将白色族裔人群置于当前黑色族裔人群的生存环境，其可能同样面临类似的歧视结果。在将歧视视为社会建构问题的视角下，算法决策普及应用带来的复杂性在于其将陷入或者简化、或者复杂化的“双重悖论”：对于不是建立在机器学习基础上的非人工智能算法而言，其要求将复杂现实抽象为具体变量，这将极大简化歧视作为社会建构问题的复杂性，可能产生“缘木求鱼”的治理错位结果，即针对具体变量的歧视风险治理措施可能错误定位问题内涵而起不到救济作用；与之相对，建立在海量数据学习、训练基础上的人工智能算法，其可能把握住了导致歧视结果的社会过程的综合性特征，但却受限于“不可解释”的技术逻辑而难以厘清因果链条，从而也将影响歧视问题的追责与救济。换言之，歧视作为社会建构问题的治理复杂性在算法决策普及的背景下才真正表现了出来。

算法歧视现象蕴含的治理挑战并非孤例，其事实上反映了算法治理的一般特征。第一，算法相对于环境的嵌入性将挑战过错原则和因果链条推定这两项既有制度基础。或者以单一变量代替现实中多重因素的综合影响，或者基于海量数据训练而将原本隐藏在表面现象背后的社会分化结构外化出来，算法与环境的这两种关系都导致建立在“过错原则”基础上的现有侵权法或责任法框架可能失效，试图追溯因果链条的基本原则在算法与环境的相互混杂中也难以被充分满足。第二，算法技术方案难以被解释、难以被穷尽的基本逻辑使得算法治理将始终处于动态演化过程之中，并要求敏捷性、实验性的治理改革。实现相同功能的算法技术方案的多重可能性，以及算法优化标准可能具有多重内涵的模糊性，都使得追求“最优算法”的技术努力幻化为“乌托邦”，任何试图提前界定而不做调适的治理思路都难以真正回应算法治理需求，治理与技术开发、应用伴随而生、伴随而变需要成为新的主导性理念。第三，算法应用风险往往以统计意义而非具体个案形式出现的基本规律，使得算法治理不得不陷入集体效用改善与个体权益侵害同时发生的公平性悖论之中，而这一治理风险并非传统治理框架的关注重点。算法应用的价值往往体现为统计意义上的指标优化和福利提升，但算法本身将始终存在“漏洞”的技术特点决定了个体权益侵害现象必然发生，前述算法难解释、难穷尽的基本逻辑又使得此种个体权益侵害不能在明确的责任因果链条下得到救济，如何破解这一公平性悖论便成为隐藏在算法治理不同案例下的共性要求。

以上三点一般性特征揭示了算法治理所需要面临的制度困境，即既有制度框架难以做出有效回应的原因。在此背景下，向算法技术开发、应用过程的治理延伸必不可少，而这也意味着治理机制的重构与创新。仍然以算法歧视为例，对该治理问题的回应需要对下述一系列问题做出回答：算法作为决策方式的应用要解决何种功能性问题，而衡量是否实现该功能的具体指标是什么，为什么选择该指标而非其他指标？测度该指标的具体数据集是按照何种标准选取的，其收集、维护、清洗过程是什么，其是否体现了现实决策环境的完整性？与其他方案相比，该算法决策方案在涉及利益相关方歧视性影响方面是否“中立”，这一结论是否经过测试和验证？不难看出，对上述问题的回答事实上构成了算法影响评估制度的基本内涵，而这也反过来说明算法影响评估作为一种治理制度，在回应算法治理问题、突破算法治理制度困境方面的必要性和重要性。

同时，如果考虑到信息不对称、共同无知等因素的存在，针对上述问题的答案往往是非唯一、不确定的，甚至是算法开发者、部署应用者都难以做出准确而完整的回答。在缺少标准答案的情况下，算法影响评估的制度定位就很可能不是作为监管惩处的依据而只能服务于治理知识的累积、治理方案的探索，这也意味着算法影响评估要求监管方、被监管方形成“合作治理关系”而非“命令-控制”结构。在此意义上，算法影响评估便与算法审计等相关制度具有了本质上的差异。从共性上讲，算法影响评估和算法审计都将治理要求延伸至算法设计、应用过程之中，但二者制度定位的关键差别则在于：算法审计的关键是评估“名义值”与“实际值”的差别，即判断算法系统的实际运行过程与既定、明确规则要求之间的差距，因此算法审计的前提是形成可供审计依循的具体规则；相比之下，算法影响评估的制度价值则在于回应不确定性，即在多方不断对话的持续过程中共同积累治理知识、寻找治理方案。

在明确算法影响评估制度定位的基础上，接下来的问题就在于讨论算法影响评估制度“是什么”，而这又可进一步细分为“应该是什么”和“实际是什么”这两个层面，前者涉及算法影响评估制度建设在理论上需要考虑的关键机制，后者涉及算法影响评估制度在各国的当前实践。

三、算法影响评估制度的应然内涵：

基于两类制度的机制总结

影响评估作为一种治理手段，已经在环境治理、数据治理等领域得到了广泛实施，而环境影响评估、数据保护影响评估也成为该领域的重要制度得以建立并不断完善。

影响评估制度的理论基础可定位为协同治理，即其试图将多元主体（监管者、被监管者、第三方、公众等）纳入共同的治理框架以发挥各自相对优势。协同治理理论的关键问题还在于，将多方主体纳入统一治理框架后，如何通过差异化的制度要求进一步建构起能够平衡不同主体相对优势的治理关系与结构。具体而言，这主要涉及“开放性”与“责任性”的平衡。

一方面，“开放性”要求是指监管过程需要给予被监管对象以自主决策、自主行动空间，这既包括其对如何收集、分享、处理信息的自主决策，也包括其对如何探索可行解决方案以回应治理需求、创新治理方案的自主决策；另一方面，开放性并不意味着协同治理等同于自规制，非政府主体（私人部门）仍然需要像政府主体（公共部门）一般保持对于公众的“责任性”，即其需要在不同程度承担程序性（例如信息公开）或实质性（例如非歧视）的治理责任。在很多时候，开放性与责任性是相互冲突（或者此消彼长）的，并因此需要机制上的改革创新以实现二者的平衡，而这才体现出影响评估制度设计的关键考量。从已有文献的讨论来看，相关机制主要体现为三种类别。

第一类是透明性机制。通过将监管信息向公众开放以实现公开监督，从而在为多元主体提供自主决策空间的同时也将其置于“阳光”下，避免监管俘获并提升多元治理主体的责任性。正如对环境影响评估和数据保护影响评估的比较分析所指出的，追求绝对意义的透明并不一定有利于协同治理绩效的发挥，因其可能遭到被监管对象的反对或抵制而导致“监管合作”失败。

第二类是惩罚机制。即当一线主体“不负责任”的时候对其施加惩罚，而根据惩罚类型的差异又可进一步分为“螺旋式惩罚（escalating penalties）”或“惩罚性默认（penalty default）”等。前者会推动一线主体为避免可能出现的顶格惩罚而主动承受一定成本来接受或参与合作；后者是指设定惩罚的自动触发条件，此时监管者并不作为监督者或惩罚发起者，因此避免了与被监管者的对立，进一步还可推动监管者与被监管者“合作”以共同避免达到自动触发条件。

第三类是激励机制。即为一线主体的合作参与提供正向激励条件，以使之在考虑合规成本扣减之后仍然能实现正收益。激励机制需要推动被监管者同样能在共同监管的环境中受益，而不仅仅只是付出合规成本。考虑到市场竞争的必然存在，激励机制的实现往往需要改变市场环境，而非仅仅针对被监管者个体施加约束条件。

本文首发于《电子政务》

- 因篇幅限制，略去原文注释及参考文献 -‍

 版块介绍 — 治理之智 

在全球化背景下，科技的快速发展也带来了前所未有的治理挑战。本板块内容依托阿里巴巴集团先进的AI科技能力、丰富的应用场景与负责任的技术生态，聚焦于AI风险、AI大模型安全、AI大模型开闭源生态、AI大模型出海等AI治理政策研究，基于技术理性的风险观，为大模型发展与安全平衡与取舍提供独到见解。同时，我们致力于收集和分享海内外AI治理先进理论与经验，为构建合理的科技治理体系提供智慧与灵感。

推荐阅读

Reading