袁康：可信算法的法律规制

袁康  武汉大学法学院副教授，法学博士。

内容摘要

符合可理解、可靠和可控等内在要求的可信算法是防范算法风险和构建算法信任的基础，算法的可信控制应该成为算法治理的核心。通过法律的可信控制，即按照法律嵌入和法律调节的规制逻辑，通过贯穿于算法的技术层、应用层和治理层的系统化制度安排，确保算法以可信任状态得以设计、部署、应用和执行，是实现算法可信的有效方式。系统地构建算法可信控制的制度体系，需要从算法本体的维度，通过完善透明度规则、推动算法伦理法律化和探索算法验证评估制度等措施确保算法自身的可信度，并从算法关系的维度，通过明确算法权利、强化算法问责和拓展监管体系等制度，约束算法相关主体的行为。

关键词：可信算法  算法治理  算法本体  算法关系  制度理性  技术理性

大数据、区块链、人工智能等新兴技术的加速应用，正在深刻改变着人类社会的运行模式。自动驾驶、医疗机器人、智能投顾、社交网络等事物的出现，使得人们在日常生活、经济交易、信息获取、社会参与等领域的活动以更加便捷和智能的方式展开。算法作为这些技术的核心要素，在推进行为决策机制变革和信任机制重塑的同时，也因公众在对自动驾驶事故、大数据杀熟、信息茧房、算法暴政等一系列议题的反思和批判过程中面临拷问：当我们把一切都交给算法时，它们究竟是否值得信任？随着算法社会的来临，人类正将决策权逐渐让渡给算法接管，算法对于个体乃至整个社会的影响日渐重大且深远，只有处于可信状态的算法才能够消除人类的顾虑并保证算法时代的安全与秩序。可信算法是维系算法信任的基础，实现算法的可信控制则是算法治理的核心任务。如何实现算法的可信控制，既是技术社群试图从技术理性的角度解决的现实任务，也是法律人需要从制度理性的角度回应的时代命题。笔者以可信算法概念及其内在要求为起点，结合算法的法律规制的基本逻辑与一般原理，试图从算法自身的本体维度和算法相关主体的关系维度提出算法可信控制的体系化制度方案。

一、算法信任与可信算法的概念展开

从技术角度看，算法是为实现某个任务而构造的简单指令集，其本质是以有限、确定且有效的设定将输入转化为输出从而解决问题的数学过程。算法以数据为基础，以算力为支撑，借助在具体场景下的部署和应用实现自动化、智能化的决策。按照理想主义的技术预设，由于算法规则的确定性和客观性，算法决策通常被认为是理性、中立、高效和值得信赖的。然而，算法所呈现出的现实图景似乎偏离了这种理想预设，“算法信仰”在层出不穷的算法歧视和算法暴政面前难免沦为一厢情愿式的迷恋。在算法社会到来的前夜，我们需要再三确认：到底什么样的算法才足以让我们将决策权放心托付。

（一）算法信任与算法可信度迷思

一般而言，自然人由于认知障碍、主观倾向、身心状态和外部干扰等原因，并不总能保证其决策的理性与正确。而算法依托确定的输入输出过程，能够实现相较于自然人更为客观、理性和有效的决策。同时，借助计算机程序运行和实现的算法能够更为严格地执行既定规则和逻辑，更为海量且快速地处理决策请求，从而实现决策的一致性、即时性和普遍性。看似机械冰冷的算法，能在很大程度上弥补和消解自然人决策中的非理性、主观性和局限性，节约决策成本并优化决策效率，成为维持社会运行乃至推动人类进步的革命性力量。基于此，算法被人们依赖甚至信仰，借助算法解决问题成为超越人类认知局限和执行能力的更优选择，由此形成了所谓的“算法信任”。例如，区块链技术因其“去中心化”而更具公信力，正是因为分布式存储、共识机制、Paxos算法、非对称加密等核心算法实现了不可篡改等技术特征，由此创造的“算法信用”对“主体信用”的补充或替代有效地解决了信息不对称下的信任问题。然而，技术特征并非信任的根本来源，人们对于算法的信任倾向以及算法自身的可信度是构建“算法信任”缺一不可的两个方面。易言之，人们选择相信算法并不意味着算法自身就值得被信任。

即便我们有理由相信算法能够按照预设的过程得以客观地执行，但由于其设计、部署和应用难以避免地会受到人类行为的影响，加上技术不完备的客观规律，算法自身的可信度会大打折扣，从而形成一种“迷思”，即对算法可信度的怀疑。

具体而言，这种“迷思”主要源于以下几方面原因：

1.算法缺陷并不总能避免。算法源于人类预设的逻辑模型，并通过代码来表达和执行。一方面，算法自身在功能实现上本身就有局限，算法输出结果也并不能确保完全准确，决策错误的可能性始终存在。另一方面，算法在设计和应用过程中可能因算法模型或者馈送数据的缺陷而发生偏差。若是用于训练算法的数据质量较差，无论算法模型多么完美，最后的数据输出也会存在“垃圾进、垃圾出”的现象，从而造成算法不能实现其预期效果。特斯拉自动驾驶事故的屡次发生，正是AutoPilot自动驾驶系统无法识别静态障碍物的算法缺陷导致。而波音737MAX空难也正因为MCAS系统在有缺陷的算法控制下以高于人工控制的权限压低机头导致飞机坠毁。这些案例都是算法缺陷导致算法可信度存疑的例证。

2.算法偏见确实有意或无意地存在。算法模型不可避免地会受到设计者主观倾向和利益导向的影响，设计者的价值观和偏见会嵌入算法，从而造成算法输出结果或者决策延续设计者的偏见。例如，我们常见的大数据“杀熟”或者歧视性定价，正是反映了这种故意的偏见。而即便设计者本身并非有意为之，在算法通过数据输入进行训练时也可能受到带有偏见的数据影响，并通过机器学习加剧这种偏见。例如，微软的聊天机器人Tay上线一天就学会了脏话和种族歧视，这是其设计者始料未及的。

3.算法黑箱可能导致人与技术的疏离。算法自身封装在程序之中，且代码化的表达通常难以被非专业人士理解。此外算法设计与应用者通常将其作为核心商业机密予以严密保护，使得用户通常难以直观了解算法。在此情况下形成了输入端和输出端之间的无法被观察的“隐层”，甚至会出现输入和输出都难以被感知的情况，即所谓“算法黑箱”。算法黑箱的存在，导致人们在面对算法的自动化决策时难以把握其理由或原因，或者无法确认该决策是否真是按部署者解释的那样作出的，因而给设计者和应用者操纵算法并损害个人权益甚至公共利益提供了可能性。面对并不透明的算法，用户难以完全排除欺诈或歧视的存在，信息不对称导致信任往往难以真正建立。

4.算法权力可能造成人与技术的对抗。当算法深度嵌入社会运行的各个环节和部门，人们对算法的过度依赖以及算法的过度扩张，会导致算法自主或者在个别主体的利用下控制、引导或干预个人、企业乃至国家机关的决策，形成所谓的“算法权力”。随着算法广泛部署，这种权力将通过算法的执行形成对人类社会的规训。通过算法实施的网络监视、信息茧房等成为了“算法规训”的现实映射，而“剑桥分析”事件和“卢米斯案”则反映出当算法开始介入政治或公共行政领域时所造成的巨大威胁。如果再科幻点，神经网络和深度学习技术发展到一定阶段的强人工智能有可能脱离人类的控制，甚至谋求对人类的统治。随着算法权力的扩张，人类与技术之间的从属格局和权威地位正在发生微妙的变化，算法权力对人类的规训与控制势必会引发人类的对抗，而不信任正是这种对抗的起点。

算法信任是算法社会的基础，而信任必须建立在算法可信度之上。即便用户可能会因为主观上的盲目性而选择信任算法，但算法自身可信度的不足会客观上消解这种信任。因此，算法可信度才是确立和维系算法信任的根本。从前文分析看，由于算法可信度迷思的存在，当我们面对“算法是否值得信任”的问题时并不总是能够得到肯定的答案。然而，不论我们目前在多大程度上不信任算法，都不得不承认算法在当下与未来必将发挥着重要作用。任何因噎废食地抗拒算法社会的到来，都是不理智且不现实的。尽管算法并不总是值得被信任，但也不宜全盘否定算法的积极功能，无视那些具备可信度的算法为经济社会更加高效地运行提供的支撑。基于这个前提，我们可以得出一个初步结论：我们不能也不应拒绝算法，但是我们可以规训算法；我们需要算法，但我们真正需要的是可以信任的算法，即可信算法。

（二）可信算法及其内在要求

笔者所称的“可信算法”并非严格意义上的技术术语，而是侧重于算法“可信任”状态或特征的价值判断。由于话语体系的差异，有必要对相关概念进行区分以避免混淆或误解。在技术语境，“可信”源自作为一种信息安全技术的“可信计算”，即通过认证密钥、安全输入输出、内存屏蔽、封装存储、远程证明等核心技术规范实现身份验证和可靠运行，从而构建完整可信的系统。在这层意义上的可信算法，主要是指身份验证、安全保护等为内容和目标的特定算法类型，如动态加密算法、可信评价算法等。但在治理语境中，“可信算法”意在将那些对个体权益或社会福利存在现实或潜在威胁的算法予以排除，并将其限定为具备合法性和正当性且具有相当可信度的算法。此种定义并不关注算法的具体内容或目标，而是强调评估特定算法自身是否值得信任以及影响是否正面，与可信区块链、可信人工智能等概念异曲同工。随着技术专家对算法伦理的日益关注，对于“可信算法”概念的混乱认识也在趋于共识。笔者所指的可信算法也正是基于治理语境下的定义展开。

“信任”如何建立，或者说“可信”如何实现，是一个相对复杂的系统工程。算法自身的不完备以及在部署应用中导致的人与技术之间的疏离和对抗，往往会将算法推离人们的信任圈。正如哲学家Onora O’Neill所言，信任不是通过索取而得到，而是通过展示可信度来获取。对于算法而言，设计者或者部署应用者不能单方面要求人们的信任，其宣示或承诺也并不足以得到人们的信任，而是要通过向用户和公众充分展示其可信度来实现。按照David Spiegelharter的观点，对算法的信任来源两个方面，即关于算法（about the algorithm）的可信度和通过算法（by the algorithm）的可信度，前者是指开发者充分阐释算法的功能、逻辑以及评估验证的情况，使用户和公众对其充分了解，后者是指算法在实际应用中的准确、有效、可靠的水平，使用户和公众相信其有能力且负责任地解决问题。如果将算法自身的技术能力与对算法的治理状态结合来看，对算法的信任主要来源两个方面。一是增强算法技术本身的可靠性、稳定性等绩效表现，使得公众对其运行形成稳定预期和信赖；二是通过法律、行业规范、技术伦理等制度创建可信的治理环境，使得公众增加对算法技术的掌控感和影响力。概言之，可信算法既需要本体层面源于技术的可信度，又需要关系层面源于治理的可信度，由此方能获得用户和公众的信任。

面对技术的不断进化和对人类生活的深度嵌入，“可信”成为了技术社群和政策部门的关注焦点。欧盟委员会设立的人工智能高级别专家组在2019年4月发布了《可信人工智能的伦理指南》，提出可信人工智能需要在整个生命周期满足三个条件：1.合法性，即可信人工智能应当依法合规；2.道德性，即可信人工智能应当符合道德原则和价值观；3.鲁棒性（robust），即可信人工智能应当避免造成无意的损害或负面影响，并且指出人工智能应该满足七个关键要素以达到可信赖的要求，即人的能动性和监督；技术鲁棒性和安全性；隐私和数据管理；透明度；多样性、非歧视和公平性；社会和环境福利；问责机制。美国计算机学会的公共政策委员会发布了《关于算法透明和问责的声明》并提出了七项原则强调通过确保算法的透明度和可问责性以避免算法的偏见和错误。FATML也在《可问责算法原则》中指出了自动决策算法在产业界和政府的广泛应用，影响了从定价到用工甚至刑罚的各个方面，因此算法需要符合负责任、可解释、精确性、可审计性、公平性等原则的要求。以上这些政策倡议或行业指南，都是在尝试从技术或治理的层面探索对算法的规制，以实现算法的可信。

结合算法信任的形成机理和多利益相关方的主张，笔者认为，可信算法需要具备以下几方面的特点和要求：

1.可理解性。算法要获得信任，必须以能够被理解为前提。可理解有两个层面的内涵：一方面是算法必须保持其透明度，使算法的基本逻辑、模型原理、决策流程等可为用户或公众所知悉，这有助于增进用户对算法决策的信任。即便算法可能被企业主张构成商业秘密，公开算法逻辑而非代码并不至于损害其商业利益，相反会因用户的信任而获得更多机会。另一方面，由于算法高度的技术复杂性，简单机械的透明度要求可能会陷入“鱼缸”式的透明，为避免这种无效的透明度就要求算法必须可被解释。即便普通用户不一定有能力完全解释而乐意信任，但必须要向有需求且有能力了解其推理过程的主体（利益相关方）提供易于访问、可解释、可评估的理解路径。

2.可靠性。算法要获得和维持信任，必须以可靠为基础。可靠是指算法不会偏离伦理和法律的要求，能够准确、公平、安全地作出算法决策。人们将决策权让渡给算法，是期待算法能够更加理性和精确地解决问题，这就要求算法能够克服人类的非理性、偏见和局限，以尽可能少的偏差和更符合伦理与法律要求的方式作出准确决策。此外，要维持信任，算法需要确保鲁棒性，以避免因外部干扰而危害安全或造成其他负面损害。

3.可控性。可控算法获得和维持信任的保障。当算法脱离控制，就很难指望人们盲目的信任。所谓可控是指人们可以有效规制算法或者自主决定算法是否继续执行。有效的监管是控制算法的一种形式，按照相应的治理框架和制度规则对算法进行约束和规训，能够确保算法与人类之间的主从关系并有效控制算法风险，使得算法不至于在与人的合作和对抗中失去控制。而自主决定算法是否继续执行，是人们摆脱算法暴政以实现自主性的最后一条退路。不论是脱离算法自动化决策权抑或是中断算法的执行，都是人们在算法失控或即将失控后的选择方案。

随着人类进入算法社会，算法的部署和应用将成为人类经济社会生活的常态。在此背景下，既要最大限度地发挥算法技术的积极价值，又要保证算法符合人类社会的“共同善”，这就需要我们以算法信任为基础，通过有效的算法可信控制，从技术层、应用层到治理层确保算法“可信化”。通过算法的可信控制，可以确保算法的可信度，从而有效维系算法信任，防止不可信算法的滥用导致用户损失乃至算法信任的崩溃。因此，在很大程度上，算法的可信控制应当成为算法治理的核心任务。

二、法律如何规制算法：可信控制的法律进路

算法的可信控制旨在通过相应的手段或方式对算法设计、部署和应用的全流程进行规范与调整，以保证算法的可理解性、可靠性和可控性。对于技术专家而言，算法的可信控制可以通过技术手段实现。例如，南加州大学研究人员研发的DeepTrust工具可以对AI算法生成的数据和预测的信息进行验证；日益成熟的“歧视感知数据挖掘”也能够识别偏离公平伦理的算法，通过技术进路“以算法控制算法”从而实现算法可信正在成为可能。对于法律专家而言，应对算法风险并实现算法与人类社会相容的制度需求激起了法律人“规训算法”的雄心，算法规制或者算法治理日益成为法律人关注的焦点议题。通过法律进路的可信控制，即以法律制度规范算法的技术流程并调整相关主体的行为以实现算法可信，正是“以法律控制算法”的题中应有之义。然而，法律能以何种方式规制算法，从而通过制度理性约束技术理性，是按照法律进路实现算法可信控制的基础性命题。

（一）技术与法律之间：算法的技术实质与法律实质

作为解决特定问题或者达成明确结果而采取的一系列步骤，算法的技术实质是解决问题的逻辑流程。在算法的设计、部署和应用过程中，代码是算法的表达，程序是算法的载体。算法通过能为计算机所理解的代码所设定，在程序的运行中得以执行，从而完成从输入到输出的过程。从这层意义上看，算法至多只是一种在程序运行中所遵守并执行的抽象技术方案。例如，根据既定算法，空气净化器的传感器侦测到空气中的污染物（输入）后即启动大风力净化功能（输出）。随着算法技术的迭代与升级，算法得以通过更加自动和智能的方式应用在更广泛的领域，也开始形成在不同意义上的技术实质。例如，今日头条通过用户标签算法、文本分类算法等实现向用户精准推送其感兴趣的新闻内容，由此算法就从简单的“技术方案”成为了应用者实现预期目标的“工具”。为满足开发者的需求，有些设计好的算法得以在一些开源社区中进行分享，开源算法可以根据开发需要独立地嵌入至不同的程序之中，使得算法开始具有独立的“产品”属性。而随着神经网络和机器学习的发展，算法在数据和算力的加持下进入了一个新的阶段，即能够脱离开发者的初始设定而不断自我优化和拓展，从而几乎成为具备独立意识的主体，AutoML甚至能自动地完成创建、执行和调优的全过程。基于此，我们可以看到，随着技术的迭代升级，算法正在从底层技术方案发展为独立的产品，甚至正在从被动的工具发展为具备主动性的主体，其技术实质正在不断地丰富和扩张。

作为技术存在的算法进入法律场域，必然面临着对其法律实质的判断，即算法在法律的维度中究竟是什么，这决定了法律可以何种方式介入和规制算法。算法技术实质的拓展，也使得其法律实质呈现出不同的样态。法律作为调整社会关系的规范，关注的是现实存在的、具有明确的主体客体和具体权利义务的社会关系。如果仅从技术方案层面看，作为抽象决策逻辑的算法难以在法律上被评价，即便算法的执行确实可能产生相应的法律后果。正如法律可以控制基于某种思想而作出的行为，但无法控制思想本身。因此，这个层面上的算法规制只能将重点放在设计、部署和应用算法的相关主体上。

但随着算法技术实质的拓展以及算法对社会秩序的冲击，将算法本身作为法律规制的对象不仅成为理论上的共识，而且取得了相应的实践进展。目前有司法观点认为，算法属于“言论”或者“商业秘密”，尽管如此认定算法的法律实质在逻辑上自洽，但并未充分反映算法技术的迭代以及由此带来的算法功能的扩张，并且在某种程度上会因“言论”和“商业秘密”在法律上的特殊地位而导致可以正当地对抗法律的介入，从而使得算法规制面临诸多不确定性。为突破这一局限，有学者认为，算法应当被视作一种“正当程序”。算法中输入到输出的过程涉及相关主体的权益乃至社会整体利益，该过程如何实现以及以何种方式实现，往往取决于这个过程是否正当，譬如是否存在算法权力的滥用。因此，承载算法的程序应当确保其设计和运行符合正当程序的法律要求。易言之，算法实现的过程应当纳入法律关注并调整的范围之内。与此同时，算法通过其输入到输出的过程，会按照算法逻辑形成供用户参考甚至必须接受的决策，从而调整和约束用户的行为。因此，在某种程度上也可以将算法理解为一种“规范”。

但是，算法的法律本质仅仅只是正当程序或规范吗？当算法作为一种工具或产品，就成为了法律关系中的客体。类似于机动车致人损害的场景，机动车的控制者（司机）以及机动车的所有者（车主）对侵权损害须承担连带责任。又类似于产品责任的场景，缺陷产品的销售者和生产者须对消费者承担连带责任。抛开其内部追偿关系不论，基于对特定客体的控制、所有、销售和生产等关联，都会形成特定的法律关系并获得相应的法律评价。因此，即便算法是法律关系中的客体，设计、部署和应用相应算法的主体也会因算法执行所带来的后果受到法律的肯定或否定的评价。算法本身就是算法关系中的重要一环，从而也当然是算法法律关系中的重要一环。而一旦算法具备了主体意识和能力，就需要承担其执行所带来的法律后果，而这并不是完全不可行的。易言之，算法在法律上并非仅有程序法意义上的表达，而且在实体法上也应有其一席之地。由是观之，除了明确算法的正当程序本质之外，还可以确认算法作为算法关系的一环，无论其是作为主体抑或是客体。鉴于算法的法律实质，我们得以穿透技术的迷雾，找到对其进行法律规制的路标。

（二）算法规制的基本逻辑：法律嵌入与法律调节

算法技术实质的拓展及其法律实质的厘清，为法律规制算法提供了更加明确的指向和更加多元的路径。尽管对于算法的法律规制面临诸多质疑观点，例如法律人不了解算法技术，那么法律就难以有效地规制算法。又如，算法是技术世界的抽象规则甚至就是“法律”，算法设计者的偏见），也不可避免地影响社会关系（如算法缺陷导致的产品责任）甚至重塑社会关系（如人工智能新型主体），从而对人类社会造成积极或消极的后果。这导致了算法必定而且必须要落入法律规制的射程之内。因此，算法并不是技术世界的独立存在，而是深刻影响人类社会的新兴变量。算法的法律规制既是维护人类社会秩序之必需，也是保障算法按照符合人类利益的方式发挥作用之必要。

至于法律如何规制算法，则需要将算法的技术本质与法律本质相桥接。不同层级与不同场景的算法在法律上的地位和评价存在着差异，对其实施法律规制的立场和路径也会有所区别。例如，仅作为技术方案的算法需要将其作为正当程序予以规制，作为工具或产品的算法则可以作为法律关系中的客体予以规制，而在未来有可能取得法律主体资格的算法则会直接成为一种法律拟制的主体受到法律调整。但从现实来看，算法往往并不像理论家想象的那样泾渭分明地展现其本质，而是以更加务实地解决问题的方式发挥着实际功能。而法律规制算法的目标，不外乎有效地约束算法并调整算法所关涉的社会关系，以实现公平和秩序等法价值。因此，算法的法律规制，一方面是从本体的角度将算法作为法律的调整对象，通过算法的法律嵌入确保算法不偏离法律的要求；另一方面则是从关系的角度调整算法关系，通过规范相关主体的权利、义务与责任实现算法关系的有效治理。

法律嵌入算法，是指将法律的原则和规则嵌入算法的模型和逻辑，使算法在执行过程中符合法律的要求。由于算法是自动化决策所依据的基本规则，作为表达算法的代码实际上定义了技术世界的规则，并通过算法的执行对人的行为和人类社会产生影响，由此形成了“代码即法律”的论断。然而，代码或者算法在执行的过程中出现背离公平或正当程序的现象，乃是算法遵从了设计者的技术理性而偏离了法律的制度理性。正如亚里士多德认为法治的第二重含义是“大家所服从的法律本身应该是制定得良好的法律”，我们所需要的算法也应当是自身设计良好的算法。从这层逻辑上看，算法的法律规制就是要把法律的精神和规范嵌入算法，实现算法逻辑与法律规则的统一，从而完成“法律即代码”的规训过程。具体而言，可以将法律规则抽象成可供代码执行的关系，并按照法律所认可的行为模式设置关联规则，从而确保算法执行的效果能得到法律的肯定评价，即按照符合法律要求的逻辑设计算法，由此实现法律对算法的规制。

法律调节算法关系，是指法律不再将算法作为直接的调整对象，而是围绕算法所创设或影响的社会关系作为关注的重点，通过调整算法相关主体的行为与责任、权利与义务而对算法实现间接控制。算法从设计到应用再到执行的整个流程涉及众多的主体，例如，算法设计者、算法应用者、用户、监管者以及公众等，这些主体基于算法这一连接点建立的社会关系可以被称作算法关系。算法的失控会造成算法关系的失衡，如算法黑箱、算法歧视等都会造成相关主体利益受损。如果说算法的高度专业、复杂和抽象导致了其难以受到法律的有效控制，那么投射在人类社会中的算法关系相对而言则更容易受到法律的规范。因此，当法律以明确且合理的权利义务框架、清晰的行为模式与法律后果对相关主体之间的关系进行有效规范，则其控制效果必然会及于算法本体。例如，算法设计者会更加审慎地设计算法，用户和公众则会通过法律赋予的权利对抗和约束算法。

（三）通过法律的可信控制

立足于防范算法风险的法律规制涉及的范围比较广，算法社会下的法律规制需求也非常迫切。算法共谋带来的垄断、算法歧视导致的侵权、算法滥用带来的损害等，都是算法失控所带来的负面后果。相比具体的算法风险的“结果主义”视角去探讨对算法的治理，算法的可信控制立足于从“预防主义”的角度实现算法的可信性，即确保算法得以可信任的方式设计和应用，从而在源头上避免算法风险的发生。前文已述及，算法信任一方面来源于算法自身的技术可信度，另一方面来源于可信的算法治理环境。这既反映了公众对可信算法的主观期待，也反映了制度对可信算法的客观约束。尽管可信算法可以而且必须通过技术进路得以实现，但通过法律的可信控制也是实现算法可信的可行进路和必要保证。当然，通过法律的可信控制，需要遵循算法信任生成和维持的内在逻辑，有针对性地构建合理且有效的制度方案。

算法“可信”是一种状态，即算法基于其可理解性、可靠性和可控性而能够获得人们的信任。从技术中立的角度看，算法作为客观技术产物其本身并不存在价值取向或信任问题，但算法设计和应用中难以避免地会受到相关主体的主观因素影响，恶意或过失可能导致算法的缺陷甚至失控，从而造成算法不可信。易言之，算法可信与否的根源在于算法自身是如何被设计和应用的。法律虽然并不能做到直接确认或宣示算法的可信，但法律可以通过规范和调整算法的设计、部署和应用的行为以及算法关系，形成针对算法相关主体的利益制衡机制和行为约束框架，从而实现算法的可信控制。

具体而言，通过法律的可信控制主要包括以下原则性内容：首先是技术规范控制，即以法律制度的形式明确算法在设计、部署和应用的整个生命周期中所应遵守的技术规范，以算法行为的合规性实现算法可信。例如，将算法的技术要求和伦理规范上升为具有强制性和普遍约束力的法律规范，确保算法在透明度、公平性、鲁棒性等方面符合法律预设的刚性标准。其次是权责协调控制，即在法律制度中合理分配算法相关主体的权利、义务与责任，通过“赋权”支撑用户和公众对算法的监督，通过问责强化对算法控制者的约束，以算法相关主体间的利益制衡实现算法可信。例如，通过构建合理程度的透明度规则，规定用户获得算法解释的权利、设计者和应用者的解释义务以及因未能合理解释而承担的法律责任，共同实现对于算法透明度的有效控制。再次是合作治理控制，即构建涵盖政府、行业组织、第三方机构在内的多利益相关方协同参与的治理框架，通过赋予相关方对算法进行监督的权力与职责，提高其参与算法治理的责任感和积极性并加强对算法的有效监督，从而实现算法的可信控制。

概言之，通过法律的可信控制是依托贯穿于算法的技术层、应用层和治理层的系统化制度安排，对算法本体和算法关系进行有效调整和规范，从而确保算法以可信任状态得以设计、部署、应用和执行的过程。作为算法治理必要环节的可信控制，以实现算法的可信状态为旨向，是有效防范算法风险的前提，也是算法规制的核心内容。通过法律的可信控制，也应当遵循算法规制的基本逻辑，即在算法本体方面强化法律嵌入，在算法关系方面完善法律调节，充分发挥法律在实现算法可信中的积极作用。

三、本体维度下的算法可信控制

算法自身的可信度是算法信任最根本的来源，也是算法可信控制最直接的场域。算法是否可信，以及多大程度上可信，往往取决于算法本体的质量。因此，从本体维度进行算法的可信控制，即以算法本体作为直接的规制对象，通过制度约束确保算法按照可信的标准和规范进行设计和应用，是实现算法可信的基础性环节。由于算法本体的技术属性，这一维度下算法的可信控制可以遵循法律嵌入的逻辑，将可信算法的具体要求转化为具有法律约束力的技术规范，从而完成算法的可信控制。

（一）完善透明度规则

“阳光是最好的杀虫剂，灯光是最好的警察。”布兰代斯大法官这一著名论断在透明度的拥趸中广为流传。这一论断不仅可以用来倡导证券市场上的信息披露，在算法的可信控制中同样适用。一方面，与行政公开能够增强政府公信力类似，算法的透明可以使用户了解算法的逻辑，从而获得用户的信任。另一方面，透明能够对算法控制者形成有效约束，使其不能（至少不会明目张胆地）设计和部署不可信的算法。因此，建立针对算法的透明度规则，可以在主观和客观两个方面实现算法可信的效果。

算法的透明度规则，核心在于要求算法控制者披露源代码或者披露算法从输入到输出的基本逻辑。事实上，在众多关于算法治理的倡议方案中，以透明度要求打破“算法黑箱”被认为是有效规制算法的首要方案，也是实现算法可信控制的第一把钥匙。例如，《一般数据保护条例》第13条第2款（f）项要求数据控制者在利用自动化决策机制时要向数据主体提供数据画像过程中运用的逻辑。英国议会下属的人工智能特别委员会发布报告《人工智能在英国：准备、志向与能力？》也建议在安全攸关的特定场景中要求使用更加技术透明的人工智能系统，以实现更可信赖的目标。

然而，透明度要求的落实面临着两个方面的挑战。一个挑战是与算法控制者私权的平衡。对于算法控制者而言，算法往往承载着其核心竞争力，也通常被主张为商业秘密而被获得保护。因此，在对算法课以透明度要求时也不得不考虑私权与公益的平衡问题。另一个挑战则是算法的透明并不意味着被理解，即算法的高度复杂性和专业性可能会导致算法的公开沦为形式，即便是算法完全公开，用户或公众甚至有些专业人士都可能被淹没在复杂的代码或冗杂的信息之中，从而无法真正理解算法是否存在不可信的因素。面对这两大挑战，我们需要甄别基于信息的和基于解释的透明度，务实地认识透明度要求的并非公开晦涩难懂的算法代码，并落脚至“可理解”的立场来建构算法的透明度规则。例如，FAT/ML选择了折衷的透明度规则方案并建议所有算法需要发布一项社会影响声明，并在声明中详细说明算法的责任主体、向利益相关者提供通俗的解释、提示错误和不确定性的来源、提供第三方进行检查和批评的途径、阐释针对不同受众的公平考虑。这种社会影响声明不再执着于算法的完全公开，而是试图让算法以能够更好地被理解的方式实现透明。

鉴于此，在实现算法可信控制的过程中，透明度规则需要立足于使算法更易被理解的方式来构建。具体而言，算法控制者首先需要为公众获取代码或内在逻辑提供便利的渠道，使对该算法感兴趣的利益相关方能够方便地获取相关信息。其次，算法代码或算法逻辑的公开需要以容易被大众所理解的通俗表达方式予以解释，且这些解释必须是直接、简明且有效的。概言之，算法的透明度规则应当在适当尊重控制者利益的基础上，按照更加可理解的方式合理设定，使用户和公众能够摆脱机械的“鱼缸式”透明，并真正直接且有针对性地理解算法，将其作为算法在设计和应用时需要满足的合规要求，从而增进算法的可信度。

（二）推动算法伦理的法律化

由于算法在设计环节不可避免地受到人的影响，即便如何强调“技术中立”都无法否认算法本身具备着“经由设计的价值观”，算法的歧视与偏见以及其他对人类社会的挑战，往往也都是源自设计算法时的故意、疏忽以及对于伦理道德的漠视。因此，算法伦理被提出并作为约束算法按照符合人类道德观念和共同善的要求设计和应用的道德基准。可解释等道德原则。算法的伦理要求反映社会对于算法的担忧与期待。从可信算法和算法信任的具体要求来看，符合伦理要求的算法由于其本身的“善”而能够给予用户和公众更为正向的价值预期，且算法决策的伦理正当性有助于实现算法的可靠和可控，从而使得其作为设计良好的算法更易获取信任。易言之，可信算法必然是符合伦理要求的。

然而，算法的伦理要求仅限于道德上的倡议，由此而来的软性约束并不足以产生有效的控制力。尽管一旦算法违反伦理要求可能会导致舆论谴责或用户流失的后果，但主要依靠声誉机制的道德约束往往并不具备执行的刚性。因此，在算法的可信控制中，伦理要求虽然是衡量算法可信度的重要标准，但由于其道德约束的实质而导致可信控制效果不尽如人意。要解决道德约束的不足，需要借助具有强制约束力的法律来落实算法的伦理要求，实现伦理要求的法律化，即将算法伦理的具体要求嵌入法律制度，完成伦理规范的法律表达，从而将道德原则转化为法律义务，以实现更为有效的可信控制。尽管当前有些伦理要求已经嵌入法律制度，例如《一般数据保护条例》第13条至第15条要求数据控制者向数据主体提供自动化决策的逻辑并解释其影响，但现行有效法律需要更为充分和全面地将道德原则转化为法定义务。

算法伦理的法律化主要可以在两个层面得以实现：一方面是算法设计者负有按照伦理要求设计算法的法定义务；另一方面是算法的设计须遵守与伦理要求一致的法律规则。就前者而言，法律应当对算法设计者课以相应的信义义务，以约束其基于对伦理要求的充分注意来完成算法的设计过程，从而避免因设计中的故意或过失导致算法偏离伦理要求而落入不可信状态。就后者来看，法律应当设定明确且强制的技术规范，将伦理要求嵌入算法决策逻辑，以实现算法本身对于伦理要求的遵守。具体而言，可以通过强制性规范要求所有的算法均需将法律化的伦理要求作为设定条件写入主节点，偏离伦理要求的算法执行过程会因不满足触发条件而不能启动代理节点，从而以伦理要求作为衡量标准阻断不可信算法的执行，进而完成算法的可信控制。

（三）探索算法验证评估制度

相比于用户和公众的主观心态，算法是否确实可信往往取决于算法自身的客观状态，即是否可理解、可靠和可控。囿于自身专业能力和认知水平，一般用户并不能自主地完成可信算法的验证，但具有相应技术实力的利益相关方，譬如技术社群或政府部门，有能力对算法客观上的可信度进行验证和评估。然而，由于算法被作为商业秘密予以保护的通行实践，以及强制性算法验证评估制度尚付阙如，即便是在一定程度上需要保持透明，但算法仍然处于不受系统性验证评估的野蛮生长状态。这种局面显示了可信算法的实现只能依赖算法控制者的虚无承诺和用户的自我安慰，缺乏具有技术公信力和地位独立性的机构对算法是否可信进行确认。对算法进行验证评估以确认其可信度，是实现算法可信控制的重要抓手。建立针对算法可信度的验证评估制度，对于可信算法的甄别和应用殊为必要。

可信算法在技术上具备识别的可能性。从现有工程标准来看，IEEE的《推荐的软件可靠性最佳工程实践》（IEEE1633-2008）以及国家标准化委员会发布的《系统与软件的可靠性》（GB/T29832-2013）等都可以对算法的可靠性进行验证。尽管随着算法的迭代以及深度学习算法的出现，导致现有工程标准不能完全应对，但是相关标准和规范正在推进之中，相应的测试模型和评估模型也会落地。国务院在发布的《新一代人工智能发展规划》中提出：“建立人工智能算法与平台安全性测试模型及评估模型，研发人工智能算法与平台安全性测评工具集。”ISO/IEC（国际标准化组织/国际电工委员会）JTC1（第一联合技术委员会）成立的人工智能分委员会专门成立了“可信赖”工作组（WG3），开展人工智能可信度、鲁棒性评估、算法伦理等标准研制工作。通过评估算法功能实现的正确性、代码实现的正确性、目标函数的影响、训练数据集的影响、对抗性样本的影响、软硬件平台依赖的影响、环境数据的影响等可靠性指标，并验证算法退出或脱离机制是否具备和有效等可控性指标，可以得出算法是否可信的客观判断。概言之，按照相应的标准对算法的可理解性、可靠性和可控性进行验证并不存在技术上的障碍。

算法的验证评估制度的核心意旨在于针对算法设定一项接受审查的义务，即在算法投入应用前须经过有关机构按照可信度的相应标准进行验证和评估，以实现算法的可信控制。通过对算法的验证评估可以从源头上对算法进行筛查和监督，也能够为用户和公众使用算法提供可信验证的支撑和辅助。从具体实现路径上看，算法的验证评估制度需要解决以下几个问题：第一是谁来验证，是政府部门还是第三方专业机构？第二是验证评估机构是否有足够的能力查验算法的可信度？第三是验证评估结论是否构成算法可信的保证？第四是算法验证评估的程序启动是强制性还是依申请？

笔者认为，验证评估算法可信度的机构需要兼具技术能力与公信力，以保证其能够客观且有效地识别算法中的不可信因素。不论是政府部门通过组织专家委员会或者委托第三方机构进行验证评估，还是第三方机构按照法律授权独立进行验证评估，都能实现对算法的可信验证。由哪个主体承担算法验证评估的职责取决于法律制度如何安排。但是，由于技术能力和认知水平的局限，对于高度复杂尤其是具备深度学习能力的算法，不管是政府部门还是第三方机构都无法保证其能够完全精准地作出可信判断。因此，验证评估机构的结论在技术上只是具备高度盖然性的可信判断，而不能作为具备“背书”性质的可信保证。另外，随着算法的大量且广泛的应用，强制性要求所有算法都接受验证评估显然既不现实也不经济，因此可以对算法进行分类管理，与用户人身财产安全和公共利益紧密相关的算法应当强制接受可信验证与评估，而一般性的算法则可自主申请接受可信验证与评估。接受可信验证与评估并通过的算法能够获得较好的声誉，从而激励算法设计者和应用者积极申请，从而实现强制与激励并重的可信控制。

四、关系维度下的算法可信控制

算法部署和执行的过程会涉及包括算法控制者和用户等主体在内的众多利益相关方，这些主体之间形成的算法关系既反映着算法对社会关系的型塑，也会在一定程度上形成对算法本体的约束。具体而言，算法相关主体的权利义务配置、责任承担方案以及受监管程度都会影响算法能否以可信状态实现。可以说，算法本体的可信度奠定了算法信任的基础，而算法关系的有效调整可以促进算法以可信状态得以部署和执行，从而成为算法信任的保障。因此，从关系维度进行算法的可信控制，即不再以算法本体而是以算法关系作为规制对象，通过法律对算法相关主体行为的激励、约束和规范来调节和平衡算法关系，从而间接地将可信要求落实到算法设计、部署和执行的全过程。

（一）明确算法权利

算法权利配置是算法治理的重要内容，也可以成为算法可信控制的有力支撑。通过向算法相关主体赋权，即确认和保障相关主体的算法权利，可以改变算法关系中的力量对比和利益结构，借助权利对抗中的制约以及权利平衡中的合作实现算法的可信控制。当前关于算法相关权利的研究与尝试正在走向成熟，算法解释权、脱离自动决策权、算法排他权、人工接管权等权利类型不断丰富和完善。一旦这些权利得到法律的认可和保护，算法相关主体在主张权利时会对算法关系中的相对方形成约束，或者在实现权利时对自身行为模式进行调适，从而在算法关系的互动中形成可信控制的实际效果。

首先，通过算法解释权的配置为用户确认算法可信赋能。算法解释权的核心在于保障算法相对人即用户就算法的功能、逻辑、影响等关键信息以透明且可理解的方式获得算法控制者解释的权利。面对可能隐藏诸多不可信因素的算法黑箱，算法解释权构造了用户与算法控制者之间的对抗式关系，用户可通过主张算法解释权发现和排除不可信算法，同时算法解释权的相关立法也可以为技术开发者探索更具透明性和高性能的技术模型提供充足的制度激励。具体而言，赋予用户获得解释的权利，相对应地会产生算法设计者或控制者的解释义务，能够在用户与算法设计者或控制者的对抗中形成对后者的有效约束，在解释过程中的算法透明化会倒逼算法设计者或控制者尽量按照可信算法的要求完成算法的设计、部署和应用。

其次，通过脱离自动决策权的配置为用户拒绝不可信算法提供支持。源于《一般数据保护条例》第22条的脱离自动决策权意味着用户有权拒绝自动化决策算法，即在用户不愿意或者不信任算法的自动化决策时有权选择“脱离算法决策”。主张脱离自动决策权在本质上是用户对于不可信算法或不能确认可信度的算法“用脚投票”，以规避对其安全或其他利益带来的潜在不利影响。脱离自动决策权一方面保障了用户脱离不可信算法的选择自由；另一方面又会对算法控制者确保算法可信形成相应的制度激励，从而推动算法相关主体在对抗中寻求合作。前者主要是需求侧的影响，脱离算法的自动决策与获得人工干预权或人工接管权一样，是避免或减少不可信算法导致损害后果的控制方案，在此过程中不可信算法会在用户的脱离和拒绝中需求不断萎缩直至被淘汰。而后者主要是供给侧的考量，算法控制者有足够的动机推动算法的普遍应用，为避免算法被脱离和拒绝，其只能尽可能确保算法的可信并向公众充分解释以获得算法信任。

再次，通过算法排他权的配置激励算法控制者配合算法的可信控制。现行专利法律的制度与实践将“智力活动的规则与方法”排除在专利权客体之外，这意味着以抽象化的决策流程和逻辑为本质的算法至少在当前并不能作为专利得到有效保护。为了保护商业上的核心竞争力，算法控制者只能选择将其作为商业秘密进行保护。现实中的保密需求与理论上的透明度要求之间形成的内在冲突导致了算法控制者往往怠于合作，透明度要求、验证评估以及算法解释都无法得到其全力的配合。算法控制者的消极配合难以真正实现有效的可信控制，而算法排他权也许能为争取算法控制者的合作提供一条可行路径。以算法公开或保存源代码为对价赋予算法控制者在一定期限内的以不得为竞争者所利用为内容的排他权，可以消解算法控制者在面对透明度等要求时的顾虑，实现在保护其商业利益基础上的算法公开，从而将算法关系从紧张的对抗调整为相容的合作，继而在算法控制者的配合下实现算法的可信控制。

（二）强化算法问责

相比于透明度要求和算法权利配置等通过事前预防的方式实现可信控制，算法问责具有典型的事后控制色彩。从不同角度进行理解，算法问责包括两方面的内涵：其一是指算法使用者或者控制者有义务报告并证明算法系统设计和决策应用的合理性，并有义务减轻算法可能带来的任何负面影响或者潜在危害，系以外部监管的逻辑进行算法治理；其二是指算法相关主体就其不当行为以及算法执行中产生的损害承担相应的法律责任，即以归责或责任分配的逻辑进行算法治理。可问责是可信算法的内在要求，也是约束算法控制者的有效手段，通过问责所形成的约束机制能够引导算法控制者确保算法的可解释、可靠和可控。

目前美国纽约市、华盛顿州都出台了相应的算法问责法案，以对公共事业领域的算法决策设定相应的问责机制，即要求算法控制者报告算法合理性与避害措施的义务，并成立专业机构对算法进行审查。美国参议院目前正在讨论的《算法问责法案》将算法问责的适用范围从公共事业部门拓展到大型私人公司，并要求联邦贸易委员会制定评估“高度敏感性”算法的规则，明确对算法决策中可能存在的不当行为进行问责。这个层面的算法问责实际上是引入具备一定行政权力和专业能力的机构。例如，纽约市的自动化决策工作组以及华盛顿州的首席隐私官，作为相对独立且权威的第三方加入算法关系并对算法控制者形成制约，一旦算法偏离其预设的运行逻辑和执行原则，就会触发包括罚款在内的法律责任。通过问责机制的合理安排，算法控制者与用户之间失衡的关系将因问责主体的加入而得到调节，占据强势与主动地位的算法控制者会更加审慎地完成算法的设计、部署和应用，算法中的不可信因素也将得到控制。在具体的制度设计中，可以要求算法控制者将算法源代码、运行参量、算法逻辑等信息向法律授权的机构备案，供问责主体随时进行审计和检查，或者在算法运行出现问题后依据备案信息进行验证，若备案信息与实际情况不一致的，可以对算法控制者课以严厉处罚。

除了问责机制的设计之外，算法责任的分配也是算法问责的重要方面。民事、行政甚至刑事责任会对算法控制者形成一定的威慑，也会成为其作为理性经济人在作出行为决策时的重要考量因素。易言之，严格的法律责任会约束算法控制者的行为，避免因其故意或过失而出现的算法不可信。由于算法生命周期涉及算法设计者、算法应用者等诸多主体，不可信算法的部署及其造成的损害所产生的责任如何分配目前并未形成共识。责任形式和归责原则的不明确以及责任分配方案的模糊会减损算法责任的规制效果。事实上，在算法目前尚未真正发展到具备主体属性的情况下，存在应用风险的不可信算法可以纳入产品责任的范畴。例如，自动驾驶汽车致损可以按照产品责任的逻辑确立其责任形式和归责原则。即算法应用者与算法设计者应当按照严格责任原则对外承担连带责任，两者之间的内部责任分配应当考虑各自的过错程度，并结合其在造成算法不可信及其损害结果中的作用予以判断。除了民事责任之外，要实现算法的可信控制还需要合理地设置相应的行政责任和刑事责任，以规范和预防相关主体的故意或疏忽导致不可信算法的应用。

（三）拓展算法监管体系

目前，我国理论界探讨算法治理的主流话语体系还停留于算法权利与算法伦理，算法监管虽有提出但始终讳莫如深，其原因大抵是算法跨领域应用下监管权力的博弈以及算法技术复杂性下对监管能力的担忧。然而，尽管算法的验证评估与算法问责在一定程度上具有监管的色彩，具体而言，谁来监管以及如何监管仍有待于进一步明确。此外，仅仅明确算法相关主体的权利和义务却缺乏有效的监管执行机制，并不足以全面地实现可信控制。因此，以全局视角构建一个系统有效的监管体系对于实现算法的可信控制可以形成有力的保障，有必要在算法可信控制中进行合理的制度安排。

算法在经济社会生活各个领域的广泛应用，使得各监管部门基于行业监管职责都有对算法主张监管权力的需求。例如，金融监管部门在对智能投顾、量化交易时有必要审查算法的可信度，以确认依托算法实施的金融行为符合审慎监管和行为监管的要求。此外，算法的整个生命周期会落入不同部门的监管范围。例如，算法设计部署阶段属于软件行业而归入工信部门监管，算法执行应用中涉及网络产品和服务的安全可信而需接受网信部门的监管，算法执行的结果可能影响行业竞争格局或损害消费者合法权益的，又会引发市场监督管理部门的监管。这种多头监管的格局可能带来的监管重叠或监管真空，并不利于落实算法的可信控制，因此应该将算法监管权集中行使或者建立监管协调机制。考虑到可信算法主要是强调其可靠与可控，在本质上还是安全问题。因此，笔者建议依托网络安全法确立的国家网信部门统筹协调的网络安全监管体制实施算法的可信监管。

但由于算法技术上的复杂性导致了监管部门在识别算法不可信因素时存在能力局限，因此除了由监管部门设立专家组或充实技术力量以外，可以引入多方主体按照合作治理的机制构建适应算法监管需求的监管体系。目前各国都在尝试成立一些专业委员会来应对技术革命所带来的风险。例如，美国国家人工智能安全委员会以及纽约市自动化决策工作组等，但由于定位为咨询机构而缺乏监管授权从而难以发挥实际的监管效能。因此，有人主张设立国家算法安全委员会，或者借鉴美国食品药品管理局的模式设立一个针对算法的专家审查机构，通过技术专家的独立判断对应用前的算法进行审查，以避免不可信算法流入市场。这种模式并非新设一个监管部门，而是在具备专业独立性的机构与产业界之间形成一种合作机制。通过法律授权这类介于公私之间的专家型机构参与算法的可信控制，能够对技术不足的行政机构形成有力支持。

此外，行业自律组织和技术社群也可以在算法的可信控制中发挥巨大作用。以行业协会、学会等为代表的社会团体或组织通常以学术交流和行业合作为基本定位，这些组织虽无法定的监管权力，但也能通过章程对其成员起到一定的监督和约束作用。并且，这些行业组织相比行政机关往往更具技术优势，且因身处技术一线而更能及时全面地了解算法技术发展动态。通过法律明确其自律监管地位并赋予一定的自律监管权限，能够充分动员这些自律组织对其成员和整个行业进行监管和约束，从而发挥可信控制的功能。事实上，这类行业组织的自律监管在金融行业、律师行业并不鲜见，将其移植到算法治理领域并无不可。而技术社群尽管松散，但在针对算法的技术交流中也可能发现算法中的不可信因素，不少“极客”以及“白帽黑客”往往也可以发现算法中存在的安全隐患或者歧视偏见，这些群体能够通过揭露或举报形成社会监管力量，从而在个体层面实现事实上的算法监督，但这种社会监管同样也需要法律予以确认和保障。

结  语

随着算法社会的到来，人类诸多决策和行为开始逐渐让渡给算法。然而，算法并不总是可以被信任的，算法在设计、部署和应用中的失控所导致的算法偏见、算法暴政、算法缺陷等问题，可能会对人类所追求的公平、自由、安全等核心价值形成巨大冲击。诚然算法被寄予了人类对未来的期待，但我们真正需要的是可解释、可靠和可控的“可信算法”。如果算法不能得到有效规制，“科技向善”只是一厢情愿的臆想，不可信算法也可能会成为算法社会的“弗兰肯斯坦”。仅仅依赖算法控制者的技术伦理和道德自觉并不能真正确保算法可信，还需要借助法律制度对算法本体和算法关系的调整实现算法的可信控制。只有当算法被法律所规训，以可信算法的状态投入应用时，人们面对算法的恐惧与焦虑也许才能真正消解。

上海市法学会欢迎您的投稿

[e-mail]

相关链接

《东方法学》2021年第3期（“青年学者”特刊）目录

致青春——《东方法学》“青年学者”特刊

来源：《东方法学》2021年第3期（总第81期）。转引转载请注明出处。

责任编辑：孙建伟    王柯心

请帮助点赞、在看