思享｜郑智航：人工智能算法的伦理危机与法律规制

来源

《法律科学（西北政法大学学报）》2021年第1期

作者简介

# 郑智航

山东大学法学院副院长，教授、博士生导师，人权研究中心（国家人权教育与培训基地）副主任，《人权研究》执行主编，法学博士；兼任中国法学会法理学研究会常务理事兼副秘书长，中国法学会董必武法学思想（中国特色社会主义法治理论）研究会理事，山东省法学会融合创新法治研究会副会长等。先后在《法学研究》《中国法学》等报刊发表论文八十余篇，代表著作有《法学的魅影》《法律内在逻辑的基调演变》等。主要研究领域为法理学、法社会学、司法学、人权法学、网络法学等。

#

摘要

进入网络时代以后，人们逐步形成了一种以技术性和流动性为核心的在线生存样态。人们日益被数据化和被算法化。技术平台往往会利用自身在数据处理和深度学习算法上的技术优势，生成一种隐性的支配权和控制权，从而形成人工智能算法独特的运行逻辑。人工智能算法独特的运行逻辑正在深刻地改变着以往的生产方式和生活方式，并诱发了一系列的伦理危机。运用传统法律制度去化解人工智能算法的伦理危机和社会危机遇到了一系列法学理论上的难题和实践上的障碍。调整传统法律制度的规制理念，构建符合人工智能算法运作基本逻辑的规制路径具有规制算法的重要意义。

随着互联网、大数据、云计算等科学技术的发展，人力、脑力和算力融合的程度愈来愈紧密，以生活要素数据化和机器自动化决策为核心的人工智能算法得到了越来越广泛的应用。人工智能算法使得机器能够通过可读的指令程序，根据网络痕迹、位置信息、消费记录等数据，对人的行为进行评价和预测。这种自动化决策方式在人员招聘、教育培训、无人驾驶、投资咨询、司法判决、智能诊疗、新闻推荐等诸多领域得到了广泛运用，极大地降低了人们的决策成本，提高了工作效率。然而，人工智能算法独特的运行逻辑导致法律赖以生成与存在的社会结构性场景发生了重大变化，加剧了决策者与相对人之间的“数字鸿沟”，造成个人权利与算法权力之间的失衡，从而诱发了一系列的伦理问题。这些问题在一定程度上颠覆了传统的法律认知，增加了传统法律治理的难度。要想增强人工智能算法法律治理的有效性，克服“人工智能时代的法律功能危机”，就必须回到人工智能算法这一基本原点，探求人工智能算法伦理危机产生的结构性因素，并在此基础上分析既有法律治理手段存在的限度，从而为人工智能算法法律治理的转型升级探明方向。

一、 人工智能算法运行的基本逻辑

现代意义上的算法技术源于1940年代克劳德·香农有关信息论和通信系统的思考。他解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题，为算法技术的运用奠定了架构基础。与此同时，麦卡洛克和匹茨推动了神经元计算科学的发展，提出大脑天然有着适合进行计算的结构，并认为所有可设想的有穷计算都可以被神经网络计算出来，这在事实上否定了“意识/肉体二元论”的观点。随后，阿兰·图灵在此基础上，发明了图灵机，让其执行被定义的算法任务。他在二战期间还带领数学家使用算法破译了德国纳粹分子的密码。

[美]史蒂芬·卢奇、[美]丹尼·科佩克：

《人工智能》(第2版)

林赐译，人民邮电出版社2018年版

进入网络时代后，人们逐步形成了一种以技术性和流动性为核心的在线生存样态。在这种生存样态中，人们日益被数据化和算法化。技术平台往往会利用自身的技术优势，生成一种隐性的支配权和控制权，从而形成人工智能算法独特的运行逻辑。

（一）人工智能算法的嵌入逻辑

从本质上讲，人工智能算法是一种利用机器深度自主学习能力对现实生活中大量分散的、碎片化的数据信息进行自动化处理的机制。从外在形式看，它主要体现为算法的研发者通过一系列的技术性指令作用于特定机器的活动。但是，这种活动具有较高的嵌入性。算法的研发者或运用者往往将虚拟世界的算法隐性地嵌入社会权力运行的结构中，并依托现实物理世界中的经济权力或政治权力，以“持续控制形式”渗入日常社会互动中的微观层面。在这种算法的嵌入逻辑中，传统的经济权力或政治权力借助算法技术的专业化和隔离化，形成技术与经济、技术与政治的联姻。如在经济领域，算法嵌入平台重构了消费者、平台与服务提供者之间的关系。算法下探至每笔交易贯彻平台交易规则，并对违约者予以即时处罚；在政治领域，算法可实时收集数据并持续运行，与公权力的实施具有高度契合性，并极大地增强了公权力运行的广度、深度和效率。

人工智能算法运行的嵌入逻辑推动了算法的机制化。“算法的机制化”是指根据算法而生成的具有普遍性、连续性、稳定性和恒久性的自动决策化机制。人工智能算法的嵌入逻辑使网络空间具有了卡斯特意义上的“无时间的空间”特质。算法在社会权力结构中的隐性嵌入，促进了所有数据被纳入算法建模系统中，并通过机器的自主学习升级延展，从而被永久性保存下来。因此，算法将每个人发生在网络中的相关信息和行为通过图谱画像方式变为连续性的常规动作，并被赋予预先设定的意义和内涵。以新闻智能推送算法为例，算法推荐新闻平台将实现自身利益最大化的算法嵌入新闻传播过程中，以便快速有效地检测出新话题和热点话题，以此构建一套新闻推送的日常机制。推送机制一旦形成，网络用户就逼迫接受算法筛选和推送的信息。

（二）人工智能算法的概率统计逻辑

从传统物理社会到人工智能算法的转变，意味着从牛顿的“大定律，小数据”技术范式向默顿的“大数据，小定律”技术范式的转移。在“大定律，小数据”技术范式下，人们能够对宏观物体的运动规律进行把握，并将这种普遍性规律运用于具体场境中。而在“大数据，小定律”技术范式下，人们以量子力学为基础，利用规则由小数据产生大数据，再由大数据练就“小定律”，通过“小定律”精准地掌握知识。人工智能算法正是利用了这种“大数据，小定律”技术范式。这种技术范式要求算法建立在概率统计的数理基础上，并通过智能化的机器依据特定场景、语境和实用需要，从海量的“大数据”中，随机提取特定的“小定律”，从而对行为形成一种反馈机制。这种概率统计逻辑要求算法的设计者采取二阶语言描述的技术，而二阶语言所描述的对象在原理上又可以转换为一阶语言所描述的对象。按照这种概率统计逻辑，断定某种状态是否满足某个问题就等同于断定某种模型是否满足某个一阶语言所描述的对象，而这种一阶语言描述的对象的真值源于初始状态是随机选择，并依赖于先验命题为真的概率。因此，人工智能算法的概率统计逻辑具有强烈递归思维色彩，即通过重复将问题分解为同类子问题来加以解决。另一方面，人工智能算法充分利用机器自身的深度学习能力，将分散的个殊化数据重新聚集，并作为形成未来数据处理方法的重要参数。机器深度学习强调的是计算机程序对于某类任务T和性能度量P，在T上以P衡量的性能随着经验 E 而自我完善。这种深度学习，以贝叶斯概率理论和图尔敏（Toulmin）对推论的分析为基础，并形成了从证据到结论的“泛化”过程。算法设计者往往将具有一阶语言描述性质的分散数据之间的相关性解释为“适当的大概率事件”，然后从某一个结论出发，来论证这一决策的正当性。因此，舒姆（Schum）认为人工智能算法的概率统计逻辑具有拓扑的性质和特征。

（三）人工智能算法的效率主导逻辑

人工智能算法是一个以效率为主导的法则。它主要通过计算机程序来对问题进行“一种有限、确定、有效”的处理。这种对待事物的态度决定了人们在运用算法建构认知模型，进行自动化决策时，需要尽可能降低认知负担，并将其控制在合目的的范围内，从而提高效率。

[美]塞奇威克、[美]韦恩：《算法》

谢路云译，人民邮电出版社2012年版

有学者认为，滋养算法的大数据具有追求效率而非追求绝对精确、强调相关性而非因果性的特征。平台和算法设计者也往往将效率与利益作为首要考虑因素。因此，人工智能算法的运行具有强烈的效率主导逻辑。究其原因，这既有架构和技术方面的客观原因，也有平台和算法设计者逐利的主观原因。第一，网络特殊的架构模式为人工智能算法的效率主导逻辑生成奠定了结构基础。人工智能算法依托于网络和信息技术的发展。目前，我们的网络架构是一种对等网络（P2P Network）架构模式。在这种架构模式中，网络建立了以积分为核心的激励机制。网络会根据积分高低来分配获取服务的顺序。算法设计者必须要考虑这种特殊激励机制以便有效地将算法嵌入到网络架构中。第二，计算机有限的自主学习能力是选择效率标准的一个重要原因。经过近半个世纪发展，计算机的自主学习能力得到了快速发展。但是，它仍然处于模仿人类的动作与感受的较低阶段，这种有限的自主学习能力致使算法只能选择一些最容易被量化的简单标准。相对于其他标准而言，效率是最容易被量化的。它也更容易被析分为没有争议的数字变量，以符合数学计算的要求。例如，在人工智能辅助办案系统中，算法更多处理的是程式化的不涉及价值判断的表层概括工作，而对于更高级的互动交流、非经济利益的价值评判等难以量化的工作则较少涉足。第三，平台和算法设计者的利益诉求需要考虑算法运行的成本和效益。算法的设计和研发需要有大量的资金投入。平台和设计者往往会从绩效正当性角度出发来衡量算法设计的合理性。因此，他们在研发算法时会主动植入研发者的价值导向和利益意图，以便用技术平台来帮助其完成特定的利益诉求，实现利润最大化的目标。以平台媒体、互联网巨头和门户网站为例，它们主要从绩效正当性出发来构建算法系统。为了追求效率或效益，它们设计的算法筛选程序是以用户兴趣为基本导向的，并建立了一套可量化的经济绩效评价标准。这种算法设计极大地增强了生活、娱乐类资讯的供给量。

二、人工智能算法的伦理危机

人工智能算法独特的运行逻辑正在深刻地改变着以往的生产方式和生活方式，并反客为主地对人的行为形成支配关系。人们可以借助于操纵数据与算法来实现控制人的目的。马长山认为：“掌握了数据，就意味着掌握了资本和财富；掌握了算法（Algorithm），就意味着掌握了话语权和规制权。”这种具有隐蔽性的算法权力会给人们带来系统性的不利后果，消解人的主体地位，侵犯公民的基本权利，诱发一系列的伦理危机。2014年美国白宫发布了一份题为《大数据: 抓住机遇，保护价值》的报告。该报告认为，受数据来源特定性和算法设计者主观意图的影响，算法可能会系统性地减少个人获得信贷、就业和教育的机会。数据科学家称这些算法以及由此产生的算法权力为“数学毁灭性武器”。人工智能算法对以强调个人幸福和权利优先性为特点的现代伦理带来了巨大挑战，现代伦理以道德个人主义目的论方法论原则为指导，将个人幸福置于根本地位。这种方法论要求凸显人的主体性地位，并用主体性原则来构建现代社会。它将“人为目的”的道德观和权利优先性理念作为现代社会正义的基础，将人的外在行为所直接产生的现实效应或实质结果，或者由它带来的实际价值效应作为道德评价的依据。主体性、个体正义观和实质结果判断构成了现代伦理的基础。然而，人工智能算法对作为现代伦理支撑的主体性原则、社会正义观和实质结果主义提出了严峻挑战。这种挑战主要体现为人的主体性地位的消解、群组正义观代替个人正义观、人工智能在算法结果上的标签化效应等。

（一）人工智能算法中人的主体性消解

现代社会是一个以主体性为支撑的社会。黑格尔把“主体性”原则直接概括为“现代性”原则，并认为主体性主要包括“个人（个体）主义”“批判的权利”“行为自由”和“把握自我意识的理念”四个方面的内涵。

[德]于尔根·哈贝马斯：《现代性的哲学话语》

曹卫东译，译林出版社2004年版

这种主体性要求用人道主义终结封建专制制度，用理性主义杀死宗教中的上帝，用个人主义谋划自然解放。这三者最终可以归结为主体主义的确立和现代人主体性的生成。因此。现代社会是一个强调个人主义、理性主义和人道主义的社会，它要求在人的生活领域全面贯彻个人主义、理性主义和人道主义等基本原则。

郑智航：《法律内在逻辑的基调演变》

法律出版社2012年版

“这一主体地位不仅关乎于人生活的安全，也是人类文明开展的根基，其主体地位一旦动摇，政治、经济、文化、社会制度随即分崩离析。”然而，人工智能算法却在不断消解着人的主体性，动摇人在世界中的主体地位。特别是未来社会，随着人工智能通过深度学习具备了自身算法系统的反思能力和自己的万能算法语言，人的主体性将遭受更大的挑战。就目前而言，这种主体性消解主要体现在以下方面：

首先，算法使人面临客体化的危险。人工智能算法中，个人逐步被数据化和被计算化。在数据处理和整合时，算法将人按照各种各样的自动化区分标准进行排列，并赋予相应的意义。个人一旦进入这种数据化的“微粒社会”，就成为被算法定义的对象。这种新兴的算法权力并不是从主体角度，而是从作为可以被计算、预测和被控制的客体的角度来看待个人的。1.满足算法预设条件是用户进入人工智能算法的前提。从性质上讲，人工智能算法是一个网络技术和信息技术结合而建构出来的虚拟世界。个人要想进入网络接受平台提供的服务，获得平台承诺的优惠和完成支付等，就必须接受通过代码加以确定和规制的交易规则与支付规则。2.算法决定着人们在网络空间中的自由度。网络社会具有发达的信息筛选机制。这种机制通过设置技术障碍的方式，促进网络空间的分区，限制个人访问网络空间信息的权利。它主要通过网络巡查（Cyber Patrol）、网络监视（Surf Watch）等筛选软件或利用浏览器的现有内置功能来实现控制。这些机制通过算法来定义网络分级检索方式和网络文件分级标签语法。人们要想在网络空间享有更大的自由权，就必须符合算法所认可的代码要求。3.算法将人类作为“计算组件”来增强算法自身的权威。例如，亚马逊的劳务众包平台（Mechanical Turk）就将劳动者视为一个完整的计算组件来映射进算法函数中。在这个算法系统中，人类从属于充当雇主的算法。算法系统按照评级标准自动分配劳务。美国和印度之外其他国家的劳动者通过亚马逊礼品卡获取报酬。这些劳动者可以用礼品卡兑换比特币，从而获得现金酬劳。凯特琳·卢斯蒂格（Caitlin Lustig）认为，这种劳务众包平台能够运行下去的一个重要原因，是因为人们正在从对人的信任转向对机器和算法的信任，从而导致了技术异化。

其次，算法容易将人锁定在自我编织的“信息茧房”中。“信息茧房”是桑斯坦提出的一个重要概念。他指出，在互联网时代，伴随网络技术的发达以及信息量的剧增，每个人都能随意选择关注的话题，并可以根据自己的喜好打造一份“个人日报”，但这种信息选择行为将会导致“信息茧房”的形成。他所谓的“信息茧房”，是指传播体系个人化所导致的信息封闭的后果。当个体只关注自我选择的或能够愉悦自身的内容，而减少对其他信息的接触时，久而久之，便会像蚕一样逐渐桎梏于自我编织的“茧房”之中。这种信息的自我锁定状态，将引起以下不利后果：其一，算法推送的信息潜移默化地影响着人们的认知框架和价值选择。张爱军和王首航认为，算法作为一项技术手段，能够起到重构公众环境、规范人的行为的作用。算法的精准性在便于人们迅速获得信息的同时，也塑造着个体的认知结构，使人们固守在自身的信息茧房，逐渐受到算法的“驯化”。其二，算法会进一步强化人的既有观念和想法，不利于人的观念的更新与发展。算法主要是利用对个人的图谱画像来实现学习和进化的。换言之，个人数据在喂养着算法。然而，这些数据往往具有时态上的惯性，并反映着人们对事物的看法。算法这种单向进化的学习思路，会进一步通过计算机强化这种刻板印象，从而“屏蔽”其他信息。因此，桑斯坦一再强调算法会“将用户束缚在由兴趣和先入之见所引导的狭隘的信息领域”。

[美]凯斯·桑斯坦：《信息乌托邦》

毕竞悦译，法律出版社2008年版

其三，算法容易加剧信息偏食现象，侵蚀个人对社会的认同。随着算法技术的发展，信息“私人订制”会变得更为普遍，个人信息偏食现象必将愈演愈烈，以致于侵蚀社会的共识基础，危害民主社会的发展。

再次，人工智能算法在语言和思维层面愈来愈迫近人类。语言和思维是人类区别于其他物种而具有主体性地位的重要原因。赵汀阳认为，语言具有自身的生成规则，并且能够在语言系统内部加以表达和解释。任何一个语句或词汇都能够在元语言层次被分析为可判定的（所有可清楚界定的句子）或不可判定的（比如语义悖论）。它能够生成无穷的语句并借以表达一切现实事物和可能性。语言的这些特性决定了语言具有构造世界的能力。因此，具备了等价于人类语言的任何一种语言能力就等于具有了思想的能力，并能够构造世界。具备了语言能力的人工智能在地位上也会迫近人类，动摇人类的主体性地位。就人工智能算法发展来看，它大致经历了从物理系统到仿生神经网络系统的发展历程。这种仿生神经网络系统的人工智能算法模拟大脑中真实链接和处理信息的神经元结构。它改变了物理系统阶段的显式指令式编程的语言方式法，采取表处理（LISP）语言实现算法深度学习的目的。这种从HOW型低级语言向WHAT型高级语言的进化，有助于计算机不断从经验感官刺激过程中形成抽象知识和概念，为声明式编程语言、函数式编程语言和动态语言等未来计算机编程语言奠定了基础。这势必增强程序在运行过程中根据具体情势改变结构的能力。这种算法的语言和思维会不断靠近智能发展的“奇点”，甚至有可能具有哥德尔反思能力，从而迫近人类，对人类的主体性地位构成挑战。

最后，算法可能将人挤出就业市场，造成更为彻底的“无用阶层”。人工智能算法的高度智能化释放出巨大的生产力，愈来愈突破了人类以往的计量体系，人类对算法的依赖程度也愈来愈高。原本由人从事的劳动和工作，愈来愈交由机器来完成。这会大大减少人类的工作岗位，从而冲击人的实践主体性的特质。“当劳动，特别以改造自然为目的的劳动不再成为生存的需要，那么人作为类的普遍性本质，人作为实践主体的本质就部分地丧失。”另一方面，算法有助于财富进一步向少数精英集中。在算法集中财富的过程中，处于社会底层的“失能者”改变自己命运的难度便愈来愈大，社会阶层固化现象会更为明显。对此，尤瓦尔·赫拉利认为：“随着算法将人类挤出就业市场，财富和权利可能会集中在拥有强大算法的极少数精英手中，造成前所未有的社会及政治不平等。”

[以色列]尤瓦尔·赫拉利：

《未来简史》

林俊宏译，中信出版社2017年版

（二）人工智能算法正义观的危机

现代社会是一个追求正义的社会。它强调社会基本结构应当建立在正义所蕴涵的自由、平等和权利等价值基础上。只有体现自由、平等和权利等价值的社会,才是正义的社会。按照这种社会正义的要求，现代社会应当确立“人为目的”的道德观，应当树立权利优先性的基本理念。然而，人工智能算法秉持的并不是这种以个人正义观为核心的社会正义观，而是一种以效率为核心的群组正义观。“群组正义观”是建立在统计奇偶性（statistical parity）基础上的正义观。辛西娅·德沃克（Cynthia Dwork）等人认为，统计奇偶性强调接受正负分类的人的人口统计学与总体人口统计学具有相同的特征，因此，统计均等性被等同于群体性的公平。就算法而言，它不太考虑个人的差异性，而是将群组作为分析单位，并对不同群组作同质化处理。即使群组和个人存在差异，算法也认为这些差异无法人为加以控制，因此，在算法决策时也应当将这些差异因素排除出去。这样能够抵消冗余的编程，减少算法设计和运行的成本。

然而，这种群组性社会正义观对现代社会正义观提出了严峻的挑战。从本质上讲，现代社会的正义观是建立在道德目的论基础上的。万俊人认为，道德的根本意义是对人的行为本身的价值评价,而一行为善恶好坏的性质和程度,最终取决于该行为所产生的实际结果,该行为结果必须是实质性的、且首先是相对于行为主体自身而言,其次才是相对于其他相关群体或个体。因此，它以“人的道德行为的圆满实现为根本价值目标和评价标准,所看重的是行为的最终结局（the finality）或最高实现（the final realization）”。算法群组正义观则主要是从整体主义和工具主义角度来看待个人的。它主张人们对技术作去价值观的理解，并将效率作为人类活动的首要标准。它把计算作为社会的本质，并用计算手段代替人的生活目的。因此，算法将人的理想和目的淹没在电子忙碌中，这种理念将社会的精神价值技术化，从而与人类生活中的道德观念和人的道德目的论格格不入。

算法对道德目的论的冲击，动摇了社会正义观中权利优先性这一核心理念。罗尔斯认为：“权利的优先性理念是一个根本要素，而在公平正义中，该理念作为公平正义观点的一种形式具有其核心作用。”

[美]约翰·罗尔斯：《政治自由主义》

万俊人译，译林出版社2000年版

它倡导个人的基本权利应当优先于公共的“善”。个人只有在尊重权利的前提下，才能去追求自己的“善”。任何违背个人权利去追求特定“善”的行为，都是一种不正当的行为。算法群组社会正义观往往从后果主义出发，注重决策行为的绩效正当性，而无视个人权利。它将效率和便利凌驾于个人权利之上，认为效率应当优先于个人权利。为了获得算法决策的便利，克减个人的一些权利具有后果主义上的正当性。例如，在算法驱动的路线导航实验系统中，算法所使用的数据都是在缺乏用户知情同意的前提下采集的，而且，整个算法系统更为倾向选择那些信息较少的用户作为实验对象。

（三）人工智能算法的标签化效应

人工智能算法具有极强的分类筛选能力和超乎想象的预测能力。它主要是通过选择与各种行为具有密切关联性的数据的显著特征来工作的。因此，算法极有可能基于分类筛选机制而形成“大数据黑名单”。这些“黑名单”不恰当地将个人或群体标记为具有某种风险或倾向，进而限制或排除他们的权利或机会。例如，美国有些法院利用纳福坊（Northpoint）公司开发的犯罪风险评估算法COMPAS 对犯罪人的再犯风险进行评估。法官可以根据这个再犯风险分值来决定犯罪人应受的刑罚。又如，Google算法通过过去的搜索行为模式，以非洲裔美国人相关姓名进行搜索，要比以高加索人相关姓名进行搜索显示的犯罪信息多得多。这极有可能给某些个人或群体贴上标签，形成一种不好的“刻板印象”。

这种标签化对宽恕这一现代社会的基本伦理价值提出了重大挑战。慈继伟将人的生活逻辑分为“正义的逻辑”和“超越正义的逻辑”。“正义的逻辑”强调人与人之间的“等利害交换关系”和“互惠性”，以及建立在此基础上的正义感，而“超越正义的逻辑”强调人有向善的可能性。它承认了人们应当在尊重道德人格主体平等和价值多元化前提下对伤害行为作出一定的理解和容让。

慈继伟：《正义的两面》

生活·读书·新知三联书店2001年版

然而，在人工智能算法中，一旦某个个体或群体具有了污名化的算法身份，就会一直被带进下一轮的运算中。“基于算法身份的算法决策会产生关于个体的新推断，并影响个体的行为，进而形成更多的数据，而这些新数据则会成为算法再一次对个体进行分类、确定算法身份并作出推断的数据基础。如此一来，劣势则会越累积越多。与此同时，算法在劣势累积影响下所作出的推断与决策结果还将导致对少数群体或受保护群体的负面成见，即污名化与自我应验预言的实现。”这种算法的标签化和污名化既没有考虑个体或群体具有向善的一面，也没有考虑人因过错而接受惩罚应该是有期限的一面，从根本上否定了人有做错事的权利。

三、人工智能算法法律规制遇到的挑战

（一）运用法律主体制度规制人工智能算法的难题

算法自动化决策在推动社会进步的同时，也带来一系列的社会问题和法律问题。人们试图通过既有的法律主体性制度来解决这些问题。2017年2月欧盟表决通过的《欧盟机器人民事责任法律规则》提出了“非人类的代理人”的概念。这一概念的实质是将人工智能作为一个有目的性的系统，并在实质上将工人智能体作为民事主体。是年，沙特阿拉伯给香港汉森机器人技术（Hanson Robotics）公司研发的表情机器人“索菲亚”授予公民资格。我国制定的《新一代人工智能发展规划》也提出“明确人工智能法律主体以及相关权利、义务和责任”。这些制度构想和法律实践的核心就是要运用现代法律主体制度，通过赋予作为算法载体而存在的人工智能体相应的法律主体资格来解决财产权利归属、法律责任承担等问题。这种法律主体性制度构想体现了进一步捍卫现代社会主体性伦理基础的努力，但是，它难以适应人工智能算法运行的基本逻辑。这种“生硬”的制度“嫁接”，既难以在法学理论上实现逻辑自洽，也难以对人工智能算法的健康发展进行有效引导。

现代法律主体制度是建立在对人的哲学理解基础上的。它强调人除了具有认知、判断和选择等能力以外，还具备道德、良心、良知、伦理等要素。因此，法律主体制度是以人具有独立的人格为前提的，并将人作为一个不证自明的法律目的。运用法律主体制度来解决算法诱发的伦理问题与社会问题会存在诸多障碍。首先，人类设计算法和发明作为算法载体而存在的人工智能体的目的并不是为了创制一个目的性存在，而是要为人类生活服务。换言之，算法及作为算法载体而存在的人工智能体始终是一种工具性存在。尽管算法系统经历了从物理系统到仿生神经网络系统的发展，并不断迫近人类的神经认知系统，但是，它“没有上升到有生命的状态，不具备生命所要求的能够利用外界物质形成自己的身体和繁殖后代，按照遗传的特点生长、发育并在外部环境发生变化时及时适应环境的能力”。而人自然生命的目的神圣性是法律主体制度建立的基础。赋予作为算法载体而存在的人工智能法律主体地位，既会冒犯人的自然生命的目的神圣性，又颠倒了目的与工具的关系。其次，运用法律主体制度规制算法，无法实现权利义务统一性原则。权利与义务相统一原则是现代法律的一项基本原则，也是法律主体的核心内涵。赋予作为算法载体的人工智能体法律主体地位，是一种授予权利的行为。但是，既有的法学理论无法回答人工智能体独立承担相应的法律责任的问题。“法学家目前设想的方案是像机动车强制保险那样为人工智能进行投保或设置某种基金，但这种责任仍然是人类的财产责任而不是AI的独立责任。因此，‘主张人工智能具有主体资格……不具有现实性意义’，人工智能达到权利义务相统一的法教义要求几乎不可能，体系性思考的缺失只会顾此失彼、不可能拼凑出一个法律上的新主体。”最后，算法目前通过深度学习难以进化出人的自由意志和情感。现代法律主体制度深受康德自由意志学说影响，并将自由意志和情感作为法律主体的必备要件。随着科学技术的发展，算法的学习能力得到大幅度提高，并形成了一定的语言和思维能力。但是，要想在短期内进化出反思能力，具有同人类一样的自由意志与情感则几乎不可能。

（二）运用透明性原则规制人工智能算法的难题

为了规制算法权力，揭开“算法黑箱”，人们愈来愈倾向于运用透明性原则，因为透明性原则能够弥补决策者与相对人之间形成的“数字鸿沟”，避免信息的过度不对称导致技术劣势一方依附于技术强势一方，从而演变成数字经济时代的精英统治。美国联邦贸易委员会认为，信息掌握在消费者手中，能够提高其合理购买的决策能力，这是我们经济体系的基本原则。这对于经济的有效运作来说，是绝对必要的。因此，美国政府及司法机关极力倡导与宣传算法透明度的重要性，例如，美国联邦贸易委员会技术研究和调查办公室就强调算法透明度的重要性，并向联邦贸易委员会（FTC）消费者保护调查员和律师提供有关算法透明度的培训和技术专业知识。算法透明度主要包括算法源代码的透明性和开放性；公布用于做出相关算法决策的输入和输出过程；以简明易懂的方式公开输入到输出的中间过程，以便被决策对象充分知悉并认同算法的正当合理性等内容。2017年，美国计算机学会公众政策委员会公布了知情原则、质询和申诉原则、算法责任认定原则、解释原则、数据来源披露原则和可审计原则等六项原则。欧盟也积极加强透明度原则的实践，并在欧盟《通用数据保护条例》中试图通过赋予人们算法解释权来确保透明度原则的实现。该《条例》第71条规定：“在任何情况下，该等处理应该采取适当的保障，包括向数据主体提供具体信息，以及获得人为干预的权利，以表达数据主体的观点，在评估后获得决定解释权并质疑该决定。”这种透明性原则实质是现代信息公开制度在人工智能算法领域的援用。它虽然在防止算法技术异化方面起到了一定的作用，但仍然会受到算法性质、公众认知能力和算法自身的可解释性等因素的影响。1.就算法的性质而言，各国法院倾向于认为它是一种商业秘密。在威斯康星州诉鲁米斯案（State V. Loomis）案中，美国威斯康星州最高法院认为，COMPAS评估算法属于商业秘密，鲁米斯提出的初审法院依赖COMPAS评估算法作出判决侵犯他的正当程序权利和平等保护权的诉求不合法。在德国，联邦最高法院也认为，算法是公司的核心商业秘密（Gesch ftsgeheimnis），当事人要求信用卡公司公开信用评估核心公式（Scoreformel）是不合理的。法院之所以要将算法看作是一种商业秘密，主要是基于人工智能算法运作的效率逻辑考虑。算法的设计和运行都需要大量资金投入，而且一旦公开透明，就极有可能出现“搭便车”现象，好的算法、收益率高的算法、行业领导者的算法可能会引起业界的效仿，从而会出现“羊群效应”，加大顺周期的风险。这极有可能影响算法公司对算法的开发，阻碍科技的发展和进步。2.就公众的认知能力而言，绝大多数非专业人士都不具备读懂算法语言的基本能力。透明性原则的核心是通过公众的知晓和理解来防止决策的失误和不公正。看懂和理解则是公众监督的前提。人们依凭看懂和理解的信息，并结合生活中的常识判断，能够作出一个较为客观公允的结论。然而，算法极强的专业性和嵌入性，极大地超越了普通人的常识判断，绝大多数非专业人士根本无法看懂和理解算法。换言之，人工智能算法是一个自我封闭的“孤岛”，要想理解算法，就必须具备相应的知识体系和认知能力。因此，运用透明性原则来规制算法的效果不会十分理想。3.就算法自身的可解释性而言，它是运用透明性原则规制人工智能算法的前提。某一事物只有具有可解释性，才既能够在公众面前得到有效的开示，又能使专业技术人员对自身行为的正当性进行有效辩解。从本质上讲，算法是在特定的网络架构模式中，通过计算机语言进行具体编程而组合成一套源代码系统。简单的算法具有可控性，是可以解释的，但是，复杂的算法对于数据和硬件设施的依赖程度会很高，并且它们在不断地进行学习和自我进化。这使算法得出的结论的可解释性变得愈来愈孱弱。另一方面，对于涉及一些随机因素的决策过程，即使将系统源代码、输入、操作环境和结果完全透明公开，也不排除算法结果可能会以一种不可检测的方式被不恰当地固定下来。约书亚·A·克罗尔（Joshua A Kroll）等人以经典彩票为例论证了这一观点。他们认为一种完美透明的算法，随机数生成器每次都会生成不同的随机数。这种算法结果是难以复制或验证的。这种技术上的难以复制性降低了透明性原则在规制算法方面作用的发挥。

（三）运用数据权约束人工智能算法的难题

在人工智能算法中，数据与算法的关系极为密切，以致于“数据喂养着人工智能”成为一个基本的共识。计算机只有吸收大量的数据，算法才能运行起来，并得到学习和进化。而算法又能够将数据加以转化和控制，从而形成一种“准公权力”，这是算法异化的一个重要原因。因此，人们认为运用数据权的保护模式能够有效地解决人工智能算法的伦理危机。例如，《欧盟通用数据保护条例》从个人对数据的自决权出发建构了一套个人数据权利体系来约束算法行为。该条例第2条提出，通过保护数据流动和数据处理过程中自然人所享有的数据权利来规范算法行为。为了实现这一目标，该条例规定数据权人享有知情权、要求更正权、要求删除权和限制处理权等具体权利形态。学者们也认为，中国应当尽快出台保护数据和数据生产者合法权利的法律法规，明确数据的产权主体，建立使用者付费制度，防止资本对于公民数据和国家数据的滥用。这种制度设计和制度构想，并不适合人工智能算法的运行逻辑。因为，人工智能算法的嵌入逻辑和效率主导逻辑产生了新的知识生产和治理模式。它模糊了数据权利的主体范围、架空了个人数据保护的知情同意原则、阻碍着个人的更正权。具体来讲，运用数据权来约束人工智能算法存在以下难题：第一，数据权的内容和归属界定困难。权利内容清晰和归属明确是权利有效行使的前提，而算法运用的数据非常复杂。它近似于一个仓库、可以分为数据运营层、数据仓库层和数据产品层等层级。不同的数据层对数据的管理和使用方式也不同，相应地涉及具体的权利内容也较为模糊。另一方面，平台数据的权利主体难以通过法律条文和法律教义的分析来明确，也难以基于正当性与后果主义的分析来界定，因为平台数据既可以被认为是个人所有、平台所有、个人与平台共有，也可以被认为是互联网空间的公共数据。第二，算法技术可以绕开数据权主体。随着算法学习能力的不断增强，它愈来愈能够对海量的无结构数据（包括百度搜索记录、淘宝购物记录、手机全球定位系统即GPS 信息等各种电子痕迹）进行分析和处理。个人身份的已识别或可识别状态往往成为数据分析的结果而不是起点。特别是到了数据仓库层和数据产品层，算法所处理的数据距离数据源中的原始数据愈来愈远，因为算法在最接近原始数据的数据运营层就进行了去噪、去重、提脏、业务提取、单位统一、砍字段等多项工作。因此，算法技术绕开了数据权主体，致使“从数据是否已包含个人身份信息入手来规制算法无法达到保护个人权益的目的”。第三，数据权是一种以个人为中心的救济模式，难以应对算法权力的复杂性。从本质上讲，运用数据权制约算法权力的思路是一种以单个的个体为中心来对抗“准公权力”的思路。这种思路忽视了算法权力的技术性和资本性两大基本特性。

算法权力的技术性增加了普通民众的认知难度。算法权力的资本性，决定了普通民众难以用数据权来制约算法权力。算法设计者和研发者往往是一支庞大的专业团队，并且拥有雄厚的财力支持。无论是法官，还是律师都难以应对专业化的算法问题。这种认知上和财力上的悬殊，使个人数据权难以对抗日益膨胀的算法权力。

四、人工智能算法法律规制的基本路径

人工智能算法独特的运作逻辑致使运用法律主体制度、透明性原则和数据权等方式化解人工智能算法的伦理危机和社会危机的思路难以奏效。因此，应当调整传统法律制度的规制理念，构建符合人工智能算法运作基本逻辑的规制路径。

（一）人工智能算法法律规制的基本理念

1.从用户注意力到用户数字福祉

受效率主导逻辑的支配，算法设计者和开发者往往将注意力集中在吸引甚至迎合用户上。这种偏好原则可能将用户锁定在“信息茧房”中，从而忽视了用户的数字福祉（digital well-being）。数字福祉主要包括以下两大内涵：一方面是人人都可享受到数字技术带来的红利，最大化地实现普惠和赋能；另一方面是促进个人对数字技术和网络服务的高质量使用，减小、防止数字技术对个人的负面影响。2017年，英国科学院和皇家学会明确提出将促进数字福祉的日益增长和人类繁荣作为数据开发、利用和管理的首要原则。这种数字福祉的范围要大于数据权的范围，体现在算法及作为算法载体而存在的人工智能体在认识、动机、结果、组织评价等多方面满足善的要求。它能够在社会提出的伦理原则或指导方针与算法设计者或开发者提出的目标技术之间进行一种反思性的平衡，并应该在特定数据技术的开发、部署和使用等各个关键阶段都发挥核心作用。随着网络技术和算法技术的发展，人们愈来愈强调算法设计者和开发者应当依循“经由设计的数字福祉（digital well-being by design）”理念，将对用户数字福祉的保障和促进融入产品和服务的设计中去。这种算法中嵌入数字福祉的做法在医疗保健、教育和就业、治理和社会发展以及媒体和娱乐等领域愈来愈得到运用。特别是数据技术所具有的积极计算能力，促进了道德规范在算法设计过程中的嵌入，因为它建立在积极心理学研究的基础上。

2.从二元结构到三元结构

传统的法律规制手段还是建立在国家与社会、公权力与私权利的二元结构基础上的。它强调国家以自主性为核心的“专断性权力”和个人基本权利所具有的排除公权力侵害的防御功能。具体到算法规制领域，它主要体现为试图建立一套以结果责任认定为核心的政府事后监管模式和以个人为中心的权利救济模式。这些方式和手段虽然在一定程度上能够起到纠正算法偏差的作用，但是对于嵌入到算法技术过程中的更为隐蔽的算法偏差的作用并不大。这需要我们重新认识国家与社会、公权力与私权利、行政权力与技术权力的关系，并建立一种“政府—平台—商户（消费者）、公权力—社会权力—私权利的三元结构”。三元结构中的国家与社会、公权力与私权利不再是简单的消极对抗关系，政府权力也不应该是一种高专断性权力。人工智能算法构造了一个信息社会，信息成为了权力的中心，产生一种信息权力，这种信息权力制约和阻碍着以科层制为核心的政府权力的运作，并在事实上改变了政府权力的运作形态和人们对权力的认识。算法平台具有的经营权、财产权和知识产权等一系列私权利会在这种信息优势和技术优势下演变为一种“准公权力”。“与以往工商业时代的垄断企业不同，它们不再局限于身为某个领域、某个行业的巨头，而是具有超强渗透、覆盖能力的全方位‘霸主’；它们不再局限于经济目标上的经营管理，而是通过制定平台规则、处理平台纠纷、行使平台监管权等赋有了‘准立法权’‘准行政权’‘准司法权’。”政府在算法规制过程中，也需要借助算法平台、程序员和人工智能专家的信息优势和技术优势，实现合作性治理。因此，算法平台企业、程序员和人工智能专家不仅是政府监管的对象，也是政府监管的参与者、决策者和执行者。国家有关算法规制法律规范的制定和执行都离不开他们的积极参与，而且这种参与的深度和力度要远远超过二元结构中的公众参与。

3.从依靠政府管控到政府克制

人工智能算法运作的效率主导逻辑以及由此衍生出来的群组正义观决定了算法治理过程中必须高度重视权利保护与科技创新之间的平衡问题。而法律规制因遵循集权逻辑、权利逻辑和客观认定事实逻辑而与人工智能算法运作所奉行的基本逻辑存在较大差异。如果一味地运用法律规制特别是运用政府管制手段，势必会以牺牲算法科技的活力和创造力为代价，进而影响算法技术的发展。例如，对于无人驾驶的刑法规制就应当采取克制与审慎的态度，因为碰撞算法还处于发展之中，算法技术之争导致算法规范的争议，目前碰撞算法对于事故参数还处于初步应用阶段，对于这种算法采取刑事规制无疑会阻碍算法创新。而且，算法自身也正在按照运作的基本逻辑逐步衍生出一套约束和治理机制。例如，为了保护消费者的身心健康，Android P、iOS12和Facebook等都设置了“屏幕使用时间”，以帮助用户将手机和网络使用时间控制在合理限度。算法企业也可以通过行业技术标准和伦理道德规范来减少或克服算法带来的风险和危害。这些机制既能降低法律运作的成本，又可以避免法律规制给技术创新可能带来的负面效应。因此，政府进行算法规制时，应当树立权力克制的基本理念，坚持多元主义的治理方向，并为技术治理、伦理治理和其他治理留下必要的空间。

另一方面，传统政府管控手段的合法性正在受到人工智能算法专业性的挑战。在传统集权体制下，政府管控手段的合法性来源于其基于纵向层级式结构而形成的一种知识与信息垄断。然而，在人工智能算法中，知识与信息的碎片化和分散化消解了传统管控手段的合法性。更为重要的是，算法问题“可能会涉及到有着高度不确定性的未知事项，所要求的不仅仅是从‘事实’到‘法律’的推理，还要求在复杂模型和统计学帮助下，在纯技术‘事实’间的推演。面对法律和事实的混合问题，面对法律和科技的绞结，法院很难肩负起对技术标准进行司法审查的重担”。这种政府认知能力不足的客观现实，需要权力保持必要的克制。

（二）人工智能算法法律规制的主要路径

人工智能算法法律规制基本理念的转变必然带来法律规制路径的变化。具体来讲，人工智能算法的法律规制应当强调元规制治理，突出数据控制者的自我控制义务；加强政府、平台和社会三方的合作治理，通过第三方参与实现对算法的协同治理；完善算法责任分担机制，建立算法安全风险的保险制度等。

1.人工智能算法的元规制治理

按照鲍德温等人的界定，元规制治理是规制对象在政府外在规制作用下，由规制客体转变为规制主体，从而采取具有内控性质的一种自我规制形式。这种规制形式具有政府规制和自我规制双重面向。它既能防止自我规制出现自利性倾向，又能解决政府规制能力不足问题。

[英]罗伯特·鲍德温、[英]马丁·凯夫、马丁·洛奇：

《牛津规制手册》，宋华琳等译，上海三联书店2017版

在这一治理过程中，政府主要扮演着“掌舵者”的角色，它不断地对规制系统进行监督与管理，并在发现问题时，要求自我规制者及时制定应对方案，对自身施加内部式的规制。自我规制者则充分发挥其在专业技术方面的优势，并根据自身行业的特点，制定相应的规制方案。这既能减少规制上的知识障碍，又能增加规制执行的灵活性，还能降低政府的规制成本。

就算法的元规制治理而言，应当强调通过激励机制来促使数据控制者针对问题进行内控式的自我规制。在此过程中，数据控制者应当通过数据保护影响评估和“经由设计的数据保护”等方式来履行数据保护义务。数据保护影响评估是对算法进行的一种事先规制。它强调数据控制者对软件产品和过程是否符合适用的法规标准、指南、计划、规格和过程进行独立评估。为了强化评估的作用，只有那些通过专家、公共机构和受算法决策影响的社区代表审查评估的算法，才能在一组实体之间共享或在公共站点上发布。在具体评估过程中，不但应当评估基于目的使用算法的必要性和相称性，而且应当评估算法可能带来的侵害自主权、差别性待遇、财产损失等风险。算法拥有者应当根据评估结果提出处理风险的预想方案。

“经由设计的数据保护”是由欧盟《通用数据保护条例》提出来的。该《条例》第25条第1款规定：“考虑到行业最新水平、实施成本及处理的性质、范围、目的和内容以及处理给自然人的权利与自由造成的影响，数据控制者应当在决定数据处理方式以及进行处理时以有效的方式采取适当的组织和技术措施。”从本质上讲，该条款就是要将数据保护嵌入到算法的基础架构和具体实践中。它为政府规制算法确定了基本目标，但保留了政府采取规制算法的具体措施的权力。当下的算法规制应当进一步强化“经由设计的数据保护”这一措施，在兼顾算法行业特点的前提下，要求数据控制者采取具体的适当措施来确保算法决策的科学性和公正性。

社会责任披露机制是人工智能算法元规制治理的重要组成部分。它通过在被规制者与规制受益群体之间建立激励机制来推动人工智能算法开发者和运用者增强自我规制的能力，从而在市场上获得更大的份额。这种信息披露机制要求“公司披露其社会责任表现能够创造一种使利益相关者约束公司行为的情形。如果根据特定利益相关群体所期望遵守的行业规制标准来看，公司披露的社会责任信息是令人满意的，那么它的后果可能是积极的。比如，公众对公司声誉的认知可能会改善，对公司的投资可能会增加，或者公司将会获得更大的市场份额。但如果评价是负面的，则可能会导致公司的声誉受损，继而带来的是投资的减少以及市场份额的下降”。具体来讲，政府监管部门可以要求人工智能算法企业和平台定期发布社会责任报告，强制披露风险活动，公开数据处理的目的、数据处理者的身份、数据接收者等相关信息。

2.人工智能算法的合作治理

随着政府—平台—商户、公权力—社会权力—私权利三元结构治理理念的确立，除了政府需要改变过去单向度的“命令加控制”的管控方式外，还需要构建算法规制的合作治理路径。在这种合作治理中，政府监管机构应当通过“提高标准化程度和自动化程度”，使用“司法测试和新技术”来敦促算法相关企业遵守法律法规和其他内控性质的规范。社会第三方力量应当提供全自动的算法风险分析和控制技术。算法平台和企业，应当严格履行防范算法风险的义务，不断调整信息技术系统，制定个性化的内部算法风险管理流程。在此，笔者将着重分析如何构建社会第三方力量在算法合作治理中的参与机制。

首先，明确社会第三方力量的参与权限。算法往往涉及到设计者、开发者和平台的经济利益，具有商业秘密的性质。因此，第三方力量参与算法治理应当是有限度的。具体来讲，社会第三方力量可以就访问协议的严密性、商定数字管理的道德准则、任命专人监管信息、在线跟踪个人信息再次使用的情况，允许用户不提供个人数据、为数据访问设置时间轴、未经同意不得将数据转卖给第三方等问题进行监督和审核。社会第三方力量也可以就是否执行数据保护影响评估、进行数据保护影响评估采用什么方法、数据保护影响评估是内部操作还是外包、采取哪些技术上的和组织结构上的措施能够减少对数据主体的权利和利益的负面影响、数据保护影响评估是否能正确执行等问题提出建议。社会第三方力量还享有就算法侵权行为提出申诉的权利。《欧盟通用数据保护条例》第80条规定，社会第三方机构可以代表数据主体就算法侵权行为提出申诉和行使司法救济权。这在一定程度上能够克服以个人为中心的救济模式在算法认知能力和权利救济能力方面存在不足的问题。

其次，细化社会第三方力量的参与程序。（1）参与时间。应当强化社会第三方力量全程参与的基本理念，并在算法事先审查和评估阶段就应当介入。例如，美国政府规定只有经过社会第三方力量参与审查和评估的算法才是合法的算法，才能在实体间共享。《欧盟通用数据保护条例》规定数据控制者或数据处理者在进行数据保护影响评估时，必须征求数据保护官的意见。（2）参与决定权。由于算法技术的专业性和侵权行为的隐蔽性，单个个体的维权成本较高。法律试图通过激活社会第三方力量来实现侵害双方力量的平衡。因此，《欧盟通用数据保护条例》规定第三方机构可以在接受数据主体委托和无须获得数据主体同意两种情况下向数据监管机构提出申诉和行使救济权。（3）参与方式。社会第三方力量可以通过听证、验证、检查、提供咨询意见等方式进行参与。

再次，对社会第三方力量进行监督。除了应当加强社会第三方算法科技方面的职业伦理素养和法律思维能力外，还应当加强政府对他们的监督。具体来讲，政府除了应当对第三方机构的资质进行认定外，还应当联合平台和其他力量制定覆盖数据投入、数据处理和数据产出全过程中的算法质量标准。这些质量标准应当成为社会第三方力量参与算法治理的行为标准。否则，第三方机构可能因为利益因素而沦为数据生产者的同盟者或摆设。

3.算法安全风险的保险机制

算法系统的复杂性对传统的以因果关系为基础的法律责任体系形成了严峻挑战。当某个产品汇聚多种算法系统时，要想找到损害结果与损害行为之间的因果关系，难度会更大。在未来相当多的情况下，通过传统产品责任来解决智能算法及智能系统致人损害问题愈来愈不可能。吴汉东预测，未来社会以过错责任为基础建立的“风险分配”责任体系，将在某些领域不复存在。例如，对于算法引发的交通事故的认定，归责事由只有结果的“对与错”，而无主观上的“故意”或“过失”。倘若让算法及其智能系统的开发者或经营者承担无过错责任，就势必加大产品的生产成本，阻碍算法技术的发展。因此，笔者主张逐步建立算法安全风险的保险机制。作为算法载体而存在的人工智能体的生产者或所有者应当购买一定份额的保险，以分担算法引发的安全风险。以无人驾驶汽车风险防范为例，传统汽车发生交通事故的原因主要有车辆原因、人为原因和道路原因，而无人驾驶汽车发生交通事故的原因除了上述原因外，还有智能系统的原因。因此，我们应当针对汽车制造商设定一份智能系统的强制性保险，以分摊算法安全风险。

-推荐阅读-

《法理——法哲学、法学方法论与人工智能》杂志最新稿约

学界 | 法学理论专业论文2020年度数据报告

思享｜刘家和：中西思维到底有什么根本性差异？

思享｜申卫星：法学研究的“计算法学”范式

欢迎关注法理杂志

 选粹｜思享｜域外｜写作｜学界 

赐稿邮箱｜[e-mail]

☜法理杂志官方“有赞”书籍商铺 | 扫码选好书

文字编辑 | 林淑萍 吴少华