周辉 | 算法权力及其规制

点击蓝字关注本公众号，欢迎分享本文

算法权力及其规制

作者：周辉，中国社会科学院法学研究所助理研究员

来源：《法制与社会发展》2019年第6期。由于篇幅所限，刊物在此推送未加注释版本，请广大读者前往本刊物网站下载全文阅读。（本文责任编辑：乔楠）

摘 要：

在网络社会、大数据时代和算法社会重叠交融的新技术时代里，算法赋能带来了社会权力和权利的增量，但增量的配置并不均衡，而是加剧了私权利、公权力、私权力的失衡。通过把握算法社会的时代特征，进一步认识算法权力的产生基础、运作规律及其主体特性，在分清利弊的基础上，建构个体走出算法权力规训、实现算法权力规制的有效方案，推动私权利、公权力、私权力的动态平衡，确保算法社会始终围绕效率、公平、自由和善治的共同目标发展。关键词：算法权力；赋权；规制；私权力；平衡

 “在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术的驱动下，人工智能加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征，正在对经济发展、社会进步、国际政治经济格局等方面产生重大而深远的影响。”我们日益进入一个网络社会、大数据时代和算法社会交融的新技术时代，人力、算力和脑力高度融合，生活要素数据化、互联化、智能化，线上与线下的界限逐渐模糊。

在当代，算法作为机器可读的程序性指令，与经济社会深度融合：算法推荐新闻、推送广告、排名商品、安排专车，甚至经营工厂、驾驶飞机、评级信用。算法规训的社会日益成型，以至于有学者感叹：“如果所有算法都突然停止运转，那么就是人类的世界末日。”算法在提高生产效率、社会福利、治理效能等方便发挥了重要作用，个体、企业、社会和国家的发展都深受其益。但算法的应用也是一把双刃剑，除了带来算法歧视、算法崩溃等新问题，也加剧了网络社会、大数据时代以来的信息不对称、知识不对称和信息茧房的问题。算法赋能个体的同时，也增强了政府公权力和平台企业私权力的支配力、控制力和影响力，即算法权力。在这一背景下，本文将重点关注算法社会中赋能后失衡的权力与权利关系如何再平衡，在适应和推动算法技术应用发展的同时，如何让算法权力受到有效规制，让日益弱势的个体权利得到维护和保障。

本文将在解答以下三个问题的基础上，通过正确认知算法权力，把握其利弊，进而提出相应的规制路径：第一，算法权力的时代语境为何？算法社会只是对社会特征的单一维度进行抽象，不对相关时代特征进行综合分析，就无法真正把握当前算法权力的产生基础和运作规律。第二，算法权力来自于算法对权力的赋能，这与算法对权利的赋能有何关系？进而发掘算法权力背后的社会问题。第三，作用于社会关系、影响权力和权利的主体为何？只有确定规制的对象是应用算法的机器还是其设计者、控制人，才能有针对性地设计规制方案。

一、"三位一体"的算法社会

算法并不是二十一世纪的新发明，其有着悠久的历史。代数的创造者、九世纪的波斯数学家阿尔·花拉子密在数学史上最早提出了算法概念。上世纪30年代，克劳德·香农在莱布尼茨二进制计算数制和布尔运算符的基础上发展出了现代计算机语言。阿兰·图灵发明了图灵机，并在二战期间带领数学家使用算法破译了德国的密码。但是，我们当前对于算法社会认知的时代背景已经有了革命性的变化。作为一项当代科技，算法是“一种有限、确定、有效并适合用计算机程序来实现的解决问题的方法，是计算机科学的基础”。算法对社会关系的影响，要与当前互联网、大数据应用的“三位一体”发展结合在一起来考察。

第一，算法的应用是与互联网的应用紧密联系的。互联网技术的成熟和广泛应用，使线上线下的空间实现了普遍互联，快速流转交互不同场景的数据。作为时代的基础设施，互联网已经在从1.0时代的“去中心化”向2.0时代围绕网络平台的“再中心化”演进。

在互联网1.0时代，个体借助互联网获取信息和参与表达的能力和机会，较之以往有着质的提升。互联网的无中心化、匿名性特点也使得公权力的管制能力受到限制，以至于有网络空间的《独立宣言》宣布：“（旧世界）关于财产、表达、身份、运动的法律概念及其情境对我们（网络空间）均不适用。所有的这些概念都基于物质（世界），而（网络空间）这里并不存在物质实体。”

但是，进入互联网2.0时代，互联网赋能个体权利的愿景不得不被平台私权力的崛起冲淡。在围绕一个个网络平台企业所形成的网络平台生态里，在面对拥有巨大技术、信息、资本，特别是面对平台资源本身具有支配优势的网络平台企业时，抽象平等的用户、平台内服务者不得不接受实质不平等的现实。网络平台企业借助这些资源优势，具备了通过平台规则的制定及其执行而拥有“哪怕遇到反对也能贯彻自己意志的机会” 的能力， 或者通过“助推”诱导用户、平台内服务者等而使其作出某种选择或判断的能力。这就是网络平台企业作为私主体所具有的“权力”，即网络平台私权力。相对于被赋权（利）的个体，被赋权（力）的平台取得的优势更加明显，所拥有的支配力量也更加强大。随着平台经济的不断扩张，网络平台私权力也愈发强大，以至于政府和社会都要关注其对经济社会各个方面的影响。

为了利用好和制衡住平台私权力，各个国家都在不断加强有关平台责任的制度设计。如2019年3月，美国民主党总统竞选人、参议员Elizabeth Warren在博客上发文提出了一个加强网络平台监管的震撼方案：通过立法将全球年收入在250亿美元以上的向公众提供在线交易和连接第三方的平台企业认定为平台公共设施，禁止这些平台企业同时拥有平台公共设施和平台上的其他第三方业务，要求平台公共设施遵守公平、合理、无歧视的交易规则，禁止其与第三方共享用户数据。我国新施行的《电子商务法》更是专门将电子商务平台经营者作为一类独立主体予以规范，针对其可能滥用基于平台资源的“私权力”，系统地设定了针对电子商务平台企业的管理要求。

进入算法社会，算法本身的复杂性和高技术特征，将会进一步强化网络平台企业的技术能力、信息能力。更何况算法本身的商业模式极为有限，巨额的经济投入除了来自政府公共资金的支持，就是来自那些可以很快利用平台资源优势，将算法资源直接用于解决平台内商业问题或者直接商业化的网络平台企业。事实上，目前，算法的顶级研究团队除了在顶尖的科研机构，就集中于主要的巨型网络平台企业，包括谷歌、Facebook、亚马逊、微软、IBM、百度等。因此，算法社会与网络社会的叠加，不仅不会扭转从“去中心化”向围绕网络平台企业“再中心化”发展的趋势，而且很可能会催化进一步围绕网络平台企业“强中心化”的新态势。

第二，算法的应用离不开数据，算法社会的维系离不开巨量廉价甚至免费的、可以轻易获取、收集、分析的大数据。如果说“数据是大数据时代的新石油”，那么，大数据就是算法机器运行的燃料。算法依靠大数据技术的全量数据“投喂”，不断训练、运算、学习，在某一或多个场景之下渐趋完善，能够考虑全部的应用场景和常规动态，从而获得完整逻辑和主体理性，不再依靠人力纠正干预，就能独立完成任务、修正模型、自我完善。

大数据是现代算法应用的重要基础，算法是数据价值实现的重要途径。正是在这个意义上，有学者套用康德的语式指出：“没有数据的算法是空洞的，不经算法处理的数据是无意义的。”一方面，谁掌握了数据资源，谁就有了算法应用的优势。数据资源的多少会直接影响算法赋权的大小。另一方面，数据的质量也会影响算法处理的结果，控制算法应用的风险也必须关注其输入端数据的质量。

由上可见，网络社会、大数据时代和算法社会“三位一体”的发展共同推动了网络平台私权力的扩张。同样，公权力也在“三位一体”的算法社会中，凭借国家资本、公共数据资源的优势获得了新的作用空间和支配方式。尤其是，相对于互联网公司所掌握的数据仍局限于计算机终端所产生、记录的浏览数据，公权力还掌握着既有经济社会以及劳动关系所产生的规模更庞大的数据。

二、算法赋权与算法权力

算法社会的赋权包括对社会权力和社会权利的增量及其再配置。但从上文不难发现，在“三位一体”的算法社会发展中，权力的增量要大于权利的增量，这也正是本文提出算法规制的背景；平衡这一增量的不对称，则是本文提出算法规制的目的。

（一）算法赋能权利

算法正在凭借着日益增强的计算能力，在海量数据的投喂以及机器学习中不断走向成熟，通过与互联网络的链接，开始逐步实现与整个社会的深度融合。以海量数据为基础、以互联网为载体、以机器学习为路径的现代算法技术已成为不可忽视的力量。算力的提高、算法技术自身的进步以及算法应用的多样化，赋予了各类私主体更多的权能和社会福利。

一方面，算法应用的成熟拓宽了民众进行信息获取、知识获取、意见表达的渠道。随着算法技术在知识领域以及信息检索领域的应用，公民可以快速地通过算法技术了解自己想要的信息或知识，节省检索的时间成本；可以通过算法推荐的渠道去进行投诉、举报平台企业或者政府机构，进行意见表达。另一方面，政府可以通过相应的算法应用对民众所需信息、反应意见进行快速的归纳与分类，及时地掌握当下不同领域中的民众“痛点”，对民众诉求的回应速率也因此得到了较大提高。

此外，平台企业作为私主体，也可以结合其所提供的相关服务，有针对性地收集各类用户数据，并且以特定化的大量数据为养料，促进算法技术的成长与成熟，再让成熟的算法应用反哺平台业务的发展。

（二）算法赋能权力

本文所分析的算法权力正是在“三位一体”算法社会中得到增强的公权力和网络平台私权力。从算法权力的本质属性来看，算法权力依然未脱离传统权力的概念，正如郭道晖所言：“权力是一种社会关系。某个主体能够运用其拥有的资源，对他人发生强制性的影响力、控制力。”运用算法的主体可以通过算法进一步强化对其他主体的影响力和控制力。借由评级、分类、预测和数据处理，算法实际上是在作决断，选择某些方向、结果而不是另外的方向、结果。

作为现代政治和治理的重要标志之一的官僚主义，背后的隐性原则假设就是：效率是社会制度最为重要的目标。官僚本身依赖技术性计算，面对大数据时代的信息洪流，更加深了对利用信息技术控制、处理信息的依赖。政府作为公权力主体可以利用自身的权威，控制算法进入公共政策与公共治理的体系之中，实现政策制定与治理过程的算法化，完成其治理目标。在算法社会中，在政府政策与治理过程中应用算法能够减少监管成本，但算法的“专断”与“傲慢”同时导致了政府治理的“去政治化”，造成了公民与政府的疏离，容易导致政治信任缺失以及政治极化的情况出现。

平台作为私权力主体，通过算法应用在其平台上实现了规则的代码化（Code is Law），所有交易规则与支付规则都通过代码来加以确定与规制，用户必须满足预设算法的形式要求，才能接受平台相应的服务，获得平台承诺的优惠，完成支付环节，等等。平台通过要求平台内用户遵守代码规则实现了平台的自主权力的建构，形成了平台的割据化。在平台内，平台规则如同国家法律一般具有相应的影响力与控制力，如在滴滴平台上，对司机的订单进行半强制性派送，指定行驶路线，规定乘客评分与报酬挂钩；又如，某传媒平台为排除可能的竞争，会移除其用户上传的包含对其他平台描述的文章。用户在接受相应产品与服务的同时，必须接受平台规则的限制与约束，即便这种规则有时存在漏洞与不合理之处。

更重要的是，随着网络平台企业的成长，公权力得以跳出互联网1.0时代难以直接监管的困境。对于这些网络平台企业而言，即便没有实名制的法律要求，借助大数据和算法，其为了盈利目的也会尽可能地识别用户，并有针对性地提供“服务”。公权力利用这一点，就可以把监管“嵌入”网络平台企业的服务之中。这种“嵌入”的方式可以是直接通过立法设定公法上的义务，命令网络平台企业履行监管职责；也可以是间接通过平台连带责任机制推动网络平台企业实施管理、处置。这种网络平台私权力的助力，显然也是公权力得以增强的重要途径。

从算法权力的可能趋势来看，随着算力的提高、算法技术的成熟、人工智能技术水平的不断上升，算法权力凭借着计算优势走向思维优势之后，就会“脱离人类的掌控并演化成人工智能对于人类的霸权”。这时，算法对人类的规训将彻底转向算法对人类的控制。

“智能技术将成为重要的‘权力’元素，无论是政府还是公司、社会组织，只要掌握了大量的数据等智能技术，其权力就会得到强化。”在算法社会，算法作为私权力的新基础、公权力的新能量，它的强化会扩大公权力主体和私权力主体的权力边界以及执行能力，加大公民空间被其侵蚀的风险。同时，从算法的本体出发，“算法和人工智能不仅为提供我们服务，并且同时在研究我们以及替我们做决定”。算法可能会在人类接受其服务的过程中给人类的行为模式带来潜移默化的影响，其存在及成长对于人类社会来说具有潜在的不可控的风险。无论是算法本身的不可控风险，还是算法对权力的扩张所起到的重要作用，我们对算法权力的兴起必须要保持清醒的认识以及相应的警惕性。

（三）算法赋权中的不对称与失衡

信息和知识一直被视为权力的重要源泉。在大数据时代，作为数据主体的个人未必能了解片段化、分散化的数据背后的信息，更不用说信息基础上的知识。而拥有算法资源和算力的网络平台企业，将可以根据大数据去总结谁在什么时间、什么地点做过什么，进而去预测其可能会在什么时间、什么地点将要做什么。算法机器（人工智能）了解你，你却不了解算法机器的背后，正是“大数据+算法”所产生的算法权力。

算法权力的作用直接表现为算法所产生的影响力与控制力，其深层次的影响在于对个体与社会之间关系的重塑。当政府机关利用算法应用行使公权力时，其造成了治理的“算法化”与“去政治化”，人们必须普遍遵循政府机关所预设的算法规则。例如，公共区域遍布人脸识别的监控探头，人们须接受智慧交通系统所开出的交通罚单。这种无处不在的算法一方面便利了政府监管，另一方面也使得每个正常生活于现代社会的个人处于时刻被算法应用监听、监控、监督的状态，形成了一种控制型社会。这种社会不利于人类的多元化发展，限制了人类成长的潜在可能性。

平台通过算法行使私权力则更加具有针对性与特殊性，因为平台企业是通过提供产品或者服务来获取用户的个人数据，有目的地进行个人数据的分类、评估，描绘用户画像。算法应用的处理过程缺少收集的正当程序，缺乏透明度，相应的问责机制、政府和第三方主体的监管监督机制也出现了缺位，这导致了“信息茧房”、“算法歧视”、“算法杀熟”等问题的出现。平台企业甚至利用与用户之间极度的信息不对称，不履行相应义务，由此产生了负的外部效应。当平台开发算法应用、建立算法规则时，其应该承担算法错误、算法崩溃对用户造成的损失。但往往当算法错误发生时，平台企业就以“技术错误”而非“主观错误”、用户对算法自动化决策知情同意等理由逃避法律责任，用户不得不自行接受算法崩溃给自身带来的负面影响。这种情况一旦大面积出现，就会从个人损失转变为整个社会的损失。

数据的利用以及算法应用的开放，其根源是权威或者资本的驱动，其主观目标是赋予政府更多监管能力，帮助企业创造更多的利润。算法应用的客观基础在于算力的提高以及大数据的投喂。一方面，民众无法像企业在提供服务时那般拥有海量的、具有连接性的数据，也无法像政府机关那样，作为天然的信息控制者以及数据收集者；另一方面，民众即使对算法应用具有明确的诉求，也不具有开发算法技术的能力。在权威的代表者以及资本的代理人面前，算法在对权利的保障与补充上实现的增幅远远无法达到在权力扩张上实现的增幅。这种差异会使在民众与政府、企业之间原本就存在的信息不对称以及知识不对称现象愈发严重。民众在主动接受相关平台提供智能服务的同时，又在被动享受服务的过程中，将个人的基础信息、行为足迹交予平台企业加以使用。平台企业掌握的信息极速增加，而个体却对平台企业知之甚少，这进一步加剧了二者之间的严重失衡。

此外，“由于大量内部参数的不可解释性，深度学习本身存在算法黑箱”。虽然并非所有算法都不可解释，但复杂、迭代发展的算法本身必然带有非专业人士难以理解的智识鸿沟。信息时代以来的知识不对称在算法社会里将更加失衡。

更重要的是，生活在大数据时代的个体在不同场景中的“留痕”数据都成为个体的数据标签。这些数据标签被互联共享后，将成为算法应用识别数据主体的标准和依据。据此，算法的控制者和使用者可以对数据主体的求职、授信等作出判断和决策。这种“大数据+算法”所产生的新型权力针对受众作出了支配性决策，而受众却很可能因为对“算法黑箱”不明白，或者因为决策程序不透明而不知情，不知不觉地被动接受。在算法权力之下，个体的权利、机会、生活都受到了无形的控制。一个围绕算法权力的新型社会随之塑造而成。

三、算法权力的主体：人与机器

面对算法权力滥用带来的种种危害，我们需要冷静思索其背后存在的表象问题、发生机理和深层原因，知其然更应知其所以然。一定时期的社会认知取决于其存在的社会环境，我们对算法的认知也是伴随算法的应用发展而逐渐深入。反思算法权力滥用的种种问题产生的原因，既有客观规律认识的不足，也存在主观理解的偏差，但是究其根本，仍是对算法主体性的认知存在误区。

基于对算法主体性的不同认知，在现阶段，对算法权力滥用主要存在唯主观论和唯客观论两种声音，这在增添认知维度的同时，也存在着各自的缺点与不足。

（一）唯主观论

唯主观论认为，算法权力的背后就是人。算法不具有主体性，人力可以控制算力，算法权力的滥用完全是幕后设计者、控制人的违法行为导致的，其风险的发生完全是主观人为的。因此，算法权力滥用追责的真正对象应该是幕后的设计者或控制人。其理由在于：

第一，受制于技术发展水平，算力的介入程度尚不足以改变人力控制的基本格局。弱人工智能时代的算法仍不具有主体性，算法的判断、分析、决策完全基于人类的操纵控制，其本身没有责任也无法承担。正如有的学者所言，机器背后仍是有权者对多数人的控制。区别在于，在人们面前出现的是一台更加懂你的机器，还是一个善于伪装的人。

第二，人类基于个人喜好和价值判断，倾向于将固有价值注入规则。在具体条件下，完全客观的情形是不存在的，单个个体的分析判断受成长环境、教育程度、经济能力等因素制约，难免受到主观因素的影响。在一个群体中，众多个体很容易相互影响，陷入“集体无意识”的状态，即单纯人数的增加可能带来个人偏见的成倍增加，不能简单地通过算法背后人数的增加就消弭其价值判断的偏好。因此，若发生人力介入，那么就不可能避免算法的价值偏好。

第三，算法幕后的设计者或控制人可能故意或过失滥用算法权力。当受害人被迫纠缠于技术中立或算法黑箱的免责声明时，算法幕后隐藏的可能是人为的故意违法或疏忽大意。美国大选中沸沸扬扬的剑桥分析事件，备受关注的焦点之一就是怀疑时任美国共和党总统候选人特朗普联合俄罗斯利用算法操纵美国大选。与剑桥分析事件一样，Facebook公司又被卷入另一场“算法纠纷”，其内部算法错误导致广告播放量虚增两年，而作为算法使用者和实际获益者的Facebook公司却声称只是算法错误，显然其说辞难以令人信服。客观评价唯主观论，其理论贡献正如《公司法》第二十条刺透法人责任面纱一样，它穿透了算法黑箱的层层“黑幕”，将责任追究的对象直指算法幕后的设计者或控制人。但由于唯主观论对算法幕后人为因素过度纠结，也使得其忽视了算法的主体性问题。在日常生活中，人们可以发现有些问题是算法自身的疏漏。例如，2019年，巴黎圣母院失火事件发生后，在尚未有官方调查结论时，美国YouTube视频网站的信息栏算法将有关“9·11”恐怖袭击事件的说明，自动生成排版在巴黎圣母院失火直播报道栏目下，暗示巴黎圣母院失火与恐怖袭击有关。此事引来众多网友的批评，认为YouTube此举可能助长“阴谋论”的出现。令人意外的是，该信息栏推送算法的设计初衷就是为了防止“阴谋论”的出现。

（二）唯客观论

唯客观论与唯主观论完全相反，认为算法具有主体性，算力可以控制人力，算法权力滥用的风险是不可控制的，其风险来自于人力以外的客观因素，权力滥用的追责对象应该是客观风险要素的控制者，如算法技术应用的审计者或监督人。其理由在于：

第一，算法的生成、训练、应用离不开数据，但数据收集本身可能存在问题。不能分割来看算法与现实社会，所需要的数据、所设定的场景都是来自现实社会。算法本身也是社会发展的一个体现，算法的社会影响也是社会在发展中重构的一部分。正如有的学者所说，算法离开数据如无根之木、无源之水，而数据失去算法则是空洞无力、一文不值。随着人类行为全程留痕，各种数据采集终端快速普及，数据孪生的程度越来越高，真实社会的数字化和问题的标准化趋势愈发明显，这都为讨论算法提供了丰富的场景和语境。但同时，社会要素的数字化投射并非完全真实、客观完整，极有可能在收集过程中损耗、膨胀或是收缩，或依据旧有数据生成算法规训个人的新行为，即“以（旧）人度（新）人”，这都在数据源头为算法滥用埋下隐患。有的学者甚至指出，算法决策中的歧视问题，相较于设计者、控制人的故意，此前已存在于社会中的歧视数据的沉淀造成的算法歧视问题往往被忽视，却可能更为突出。

第二，算法运算依靠计算机实现，而实际算力的不确定性也可能带来巨大麻烦。一方面，受制于客观计算能力，算法可能发生错误甚至崩溃。2018年5月，英国卫生大臣证实，由于计算机系统算法几年前出现故障，2009年至2018年1月，大约45万名年龄在68岁至71岁之间的英格兰女性未能受邀接受乳腺癌筛查，预计135名至270名女性因为未能及早发现乳腺癌迹象而死亡。另一方面，目前的神经网络只具备相关性学习能力，没有因果逻辑推理能力。缺乏因果关系推理，算法运算只能更多依靠相关性统计分析，这加大了小概率事件无法被识别的几率。

第三，基于数据来源的特定性，算法能够适配的场景也是有限的，如果任意突破其“算法边界”，算法的应用就可能出现错误，算法权力就可能被滥用或错用。如果某算法模型基于特定地区特定人群的行为模式采集数据，其算法可以对该样本人群高度适配，但当该算法作为整个算法系统的子系统时，其适用场景和样本数据就会大幅增加，也会面临子系统算法与母系统算法能否兼容的问题。客观评价唯客观论，其贡献在于揭示了算法客观风险的不可控制性，并非所有风险都来自于人为因素的干预，为我们认识算法的主体性提供了理论依据。但不可否认，唯客观论对于算法风险的过度分析容易陷入关于“算法黑箱”的不可知论，这为算法幕后的责任人提供了规避责任的“避风港”。

（三）从人工智能发展层级看主体性

对于算法主体性的认识，我们可以结合人工智能法学讨论的三个问题来分享：第一，对于人工智能的成果，是否应当赋予人工智能机器人（以下简称“智能机器”）以人的主体资格，进而由智能机器享有权利？第二，对于人工智能造成的损害，应当由其制造者、使用者还是智能机器承担责任？第三，如果对于智能机器独立享有权利、独立承担责任都持否定的观点，那么，讨论人工智能本身是否构成了一个盲目追求“时髦”的伪命题？

这三个问题的背后实际上涉及了对人工智能不同发展水平的判断。关于人工智能发展有“两层级”说，即分为弱人工智能和强人工智能，前者为没有自主意识的智能机器，后者是可以达到人类水平的有知觉和自我意识的智能机器。也有“三层级”说，基本上在“两层级”说的基础上增加了第三级：超人工智能，即“在科学创造力、智慧和社交能力等每一方面都比最强的人类大脑聪明很多的智能”。虽然人工智能的不同发展层级可以同时并存，但这基本上反映了人工智能发展的不同发展水平。

本文认为，以人类为参照系，“三层级”说更加全面：第一，远低于人类水平的弱人工智能仍是机器工具，并不存在将之视为主体的必要性和价值。第二，相当于人类水平的强人工智能，将对人类既有法学理论和法律规则带来重大挑战，很可能要像物权理论和制度适应无体物一样接纳这一新的主体，相应的法学研究，无论是关于主体权利还是关于法律责任都有其价值。第三，至于远高于人类水平的超人工智能需要什么样的理论和制度，显然已经不是远低于其水平的人类所能思考和设计的，相应的法学研究做了也没有多大意义。在那个时代，如果人类运气好的话，可能会被人工智能当作“宠物狗”。

按照这一思路，我们应该在有研究价值的弱人工智能向强人工智能发展的技术阶段，进行认知和研究算法权力。就当下的技术发展现状来看，我们还处于从弱人工智能向强人工智能发展的初级阶段，人还是算法应用的主导者。当然，这里的人包括自然人、法人和非法人组织。

一方面，这意味着，在大多数情况下，算法的背后是人而不是机器在真正发挥决策作用。算法驱动下的人工智能，按照人设定的逻辑，判断、决策、执行各个任务环节。就像有的学者指出的：首先，是人设计、编程了算法，将之连入数据库激活；其次，是人决定如何、何时以及在何种目的下使用算法；再者，人“投喂”算法的数据，是由人选择、处理的，且数据中存有的歧视和不公“残留物”也是人留下的；最后，尽管会讨论智能机器做了什么，但其后果实际上也是在调整人与人的社会关系。“算法的运用是人类所主导的，带有人类的价值观，常受到来自经济、政治等非技术力量的影响，在看似客观的代码中运行着人的意志。说到底，无论算法如何智能，以人为本，明确算法工程师、新闻从业者、社会管理者的责任与价值观，才是根本。”

另一方面，我们也必须认识到，即便是弱人工智能阶段的算法也有着不可控的“技术黑箱”。算法自身可能发生系统的错误、崩溃，无法按设计者、控制人的意愿进行运算或无法实现其预期的目标。但意外脱离人的控制，并不代表算法本身具有自主意识。只要未到达强人工智能阶段，我们都没必要在理论制度上建构或承认算法的主体性，仍要关注算法背后的设计者、控制人的角色和作用，只不过在对这一群体进行规制的时候，也要对算法应用中的客观问题做好防控。

四、从算法权力的规训到规制的算法权力

在迈向强人工智能时代的漫漫征途上，我们仍然要对算法保持清醒的认识，警惕算法权力对人的规训所可能带来的负面影响，尽可能走出个体被算法权力规训的境遇，实现对算法权力的有效规制，再现算法赋能的私权利、公权力、私权力的动态平衡，推动“三位一体”的算法社会始终围绕效率、公平、自由和善治的共同目标而发展。

（一）算法权力对人的规训

掌握算法的公权力或者私权力主体会通过收集大量的原始数据，利用预设的算法程序对其进行分类以及分析，从而获取大量可供理解以及利用的信息。根据信息不对称理论，掌握信息多的一方会比掌握信息少的一方更具有优势，这种优势地位会使“后者的福利受到影响”。如政府机关通过大量监控探头以及人脸识别技术掌握社会人口流动、个人踪迹等。如平台企业通过数据抓取进行用户画像，轻易地了解到每个用户的行程踪迹、爱好喜好等。这种优势地位会自然导致对弱势群体的“福利”的损害，如政府机关利用算法程序的解释难、透明度低等特点摆脱问责或推诿责任，平台企业制造信息茧房、算法歧视、算法杀熟等，实际上都是算法应用的控制者利用自身的信息优势地位，对算法应用的参与者和使用者权利的侵犯。

算法应用一旦进入公共管理的规则或者平台运行的规则之中，除了少数个体可以超越算法规则的限制，算法应用的控制者与使用者都必须接受算法规则的约束以及规训，无论是行政主体或行政相对人，还是平台经营者或平台内用户，都会在不同程度上受到算法规则的约束与限制。如在一些电商平台上，平台算法会对平台内经营者进行信用评价，并且以发货速度、好评率等作为评价指标，决定是否对其进行推广；平台算法也会对平台消费者进行信用评价，如根据退货率、退货完整性等来决定是否给消费者的退货过程提供便利条件；平台自身也要遵守其制定的规则，否则也会遭受消费者或者平台内经营者的举报。各主体在接受算法规则的约束时，还会产生对算法程序的依赖，如平台客服在接受用户投诉或举报时，往往采用的是算法所制定的标准化流程，不符合形式要件的举报无效甚至无法被客服阅读。使用淘宝、京东等电商平台的消费者往往依赖于平台内的个性化推荐，平台推荐的产品往往成为消费者的第一选择。

在万物互联、万人互联的现代社会中，可选择答案的多样化可能使人陷入一种难以选择的境地，算法给予人类一个个看似“科学”、“合理”、“合适”的答案，也给予了人类一个思维的出口，放大了人类思维的惰性，让人产生对算法决定的依赖。算法权力对人的规训是显性的，带有一定的强制性，而人对算法决定的依赖则是相对隐性的。算法水平越高，决定越符合人的内心倾向，人对算法决定的依赖越“成瘾”，进而越来越适应和接受算法决定，成为算法权力温顺的“服从者”。“任何社会情境只要持续存在一段时间，制度化就会出现。”算法权力这般规定个体各项活动的时间表、路线图，设定相应的奖惩机制，恰成为当代“规训规范化”的最好实例。

（二）对算法权力的规制

在当下，我们处于从弱人工智能时代向强人工智能时代发展的起步阶段，算法易成为其背后的权力主体侵犯个体权利与自由空间的工具，其本身也会出现崩溃、失灵的问题，对人类经济社会的发展产生重大影响。

与一般的技术文化一样，算法同样要求规律性、普遍性，排斥特殊性、个别性。如果这种情况制度化，必然危及人类生活的多样化，也会扼制经济社会活动的创新和活力。为了避免算法权力对个体权利的制度化压迫，有必要尽快构建有效的算法规制路径，在适应算法社会发展的整体趋势、促进算法技术的良性进步的同时，尽可能地保有个体的空间和自由。

第一，坚持包容审慎。算法是推动计算机技术以及人工智能技术发展的核心驱动力之一。算法技术可以通过深度学习，凭借其所具有的优秀的计算能力，为政府治理以及经济发展提供创新助力。当今世界各先进国家无不将大量的人力物力智力资源投入到算法研究中。算法水平的高低影响一国综合实力的大小。国家间算法竞争力的强弱，甚至会带来国际间的算法权力，形成强者影响、支配的国际态势。因此，从国家主权利益来看，国家算法权力只能增强不能削弱。对算法的规制绝不可以因噎废食、削足适履，应正视算法对人类能动地认识世界和改造世界所起到的促进作用。正如“人工智能女王”卡塞尔教授所言：“我们不能因为未来存在往坏的方向发展的可能，就放弃往好的方向创造未来的努力……人工智能的未来掌握在我们手中。我们决定怎么使用它，我们决定未来是光明的还是黑暗的。如果找错问题，就不可能找对解决方法。” 对算法的规制恰在于实现算法光明的未来。因此，对于尚处于创新发展中的算法应用，只要不危及公共利益和个体基本权利，可以考虑设置一定的“观察期”，防止其刚出现就被管死。

第二，作为规制对象的算法公权力，既要利用好既有的权力规制工具，也要有针对性地进行制度创新。一是以政治权力限制算法权力。让算法公权力也受控于民主政治的框架，涉及算法应用的重大公共决策，应当取得权力机关授权。二是应遵循“法无明文授权即禁止”的原则，严格把握算法应用的场景。三是应按照比例原则，审慎推进算法应用于执法、司法，不宜因一时的、些微的效率，而造成不成比例的公平、自由风险。四是应落实公开透明参与救济原则，而且，透明度和可解释性对公权力的标准要高于私权力，在美国和欧盟计算机协会联合公布的人工智能透明和责任七大原则中明确指出，可解释性对于公共政策领域的算法决策尤为重要。对于算法公权力的应用，应提前告知相对人和利益相关人；对于有异议的情况，应提供制度化的投诉和救济渠道。五是对于将监管“嵌入”网络平台企业算法中的情形，既要按照合法性原则不给网络平台企业带来过度的负担，也要避免平台私权力履责替代政府公权力尽责。

第三，规制算法私权力，首先要发挥算法公权力的作用。一是要建立明确的算法设计者、控制人监管机制，明确不同场景下算法设计者、控制人的义务和责任，在建立科学的“尽职免责”、“避风港”规则的同时，严格避免以算法责任规避算法设计者、控制人责任的情形。二是建立风险监控机制，对属于网络关键信息基础设施的网络平台企业，应当要求其建立针对算法失灵、算法崩溃的应急预案机制；对网络平台企业应用广泛、涉及利益群体大的算法，应当加强跟踪、测试，对频繁出现异常结果的，应当组织调查、评估，对因主观恶意而造成损害的，应当依法查处、问责；对因客观原因造成错误异常的，应当及时警示有关网络平台企业，并予以纠正、补救。三是建立算法应用的标签化规则。为充分保证公众知情权，避免混淆，对于运用算法推送新闻、广告等影响公众选择权等重要利益的应用，应当以显著形式将其与其他非算法应用作出区分，必要时可以要求网络平台企业增加算法应用专门标签。但是需要指出的是，在网络平台算法透明机制的构建中，也要注意机制的灵活性和科学性，充分权衡算法背后商业秘密的保护价值和相应的网络安全的重要程度，避免因泄露商业秘密而阻碍创新，避免因危害网络安全而损害公共利益。

第四，实现算法社会中私权利、公权力、私权力的再平衡，除了对算法公权力的控制以及算法公权力对算法私权力的规制，还有赖于个体权利的充权和第三方专业力量的助力。一是，政府要加强算法知识和应用的公众教育，缓解算法应用中的知识不对称，让个体可以识别算法陷阱，增强知情、选择的能力。二是，鼓励第三方专业力量和舆论监督算法权力的运行，对发现的线索，有关权力机关应当及时介入调查。

结 语：

进入“三位一体”的算法社会，算法权力日益显著，在平台经济的互联网2.0时代，已失均衡的私权利、公权力、私权力的关系更加失衡。个体面对公权力和网络平台企业私权力的支配、影响愈显无力。尼葛洛庞帝曾说：“我们无法否定数字化时代的存在，也无法阻止数字化时代的前进，就像我们无法对抗大自然的力量一样。”类似的，我们也可以说，“我们无法否定算法社会的存在，也无法阻止算法社会的前进，就像我们无法对抗大自然的力量一样”。但是，在超人工智能来临之前，我们对于人类现代法治理论和制度，还是要保有充分的自信：只要能把握技术规律、坚守法治理念、创新制度机制、积极采取专业行动，在释放权力动能和功效的同时，就会在算法社会继续保有并丰富个体的权利与自由。

点击二维码关注法制与社会发展微信公众平台

指导老师：苗炎

公号推送编辑：朱欣格

点击阅读原文入本刊官方网站获取全文

http://fzyshfz.paperonce.org