曹博 | 算法歧视的类型界分与规制范式重构

点击上方蓝字 | 关注我们

作者简介

曹博(1987),男,宁夏固原人,上海交通大学凯原法学院副教授,法学博士。

摘    要:对算法歧视进行一体化规制的预设失之抽象,个别化规制的探讨则受限于部门法思维,过于宏观与过于微观的视角都存在各自盲点,基于类型界分的规制范式重构尝试探索一条折中路径。承认算法歧视在根源上与传统歧视具有同质性是进行分类的前提,复现型算法歧视、加剧型算法歧视及新增型算法歧视是在比对算法决策与传统决策的基础上实现的类型化整合,以此为基础分析规制歧视的传统范式也显得有的放矢。面对不同类型算法歧视存在的技术难题与法理障碍,进一步细化具体类型中的特殊情形,提炼规制重点,将深化对算法歧视的认知,实现以制衡算法权力为核心的规制范式重构。

关键词:算法歧视;算法权力;规制范式

本文载《现代法学》2021年第4期

不同概念语境下对算法歧视的探讨明晰了其基本内涵与进行法律规制的正当性和必要性,对算法歧视规制路径的具体化研究则有待进一步深化。以追寻算法歧视的根源为起点,考察算法决策的形成过程,将发现其与传统决策存在高度趋同的特质。为此,有必要从算法和歧视的关系入手,明确算法歧视的表现形式并对其进行类型化整合,在分析规制歧视的传统范式及其缺陷的基础上,重构更具针对性的规制范式。

一、算法歧视的概念语境

算法歧视并非法律体系中的规范表达,主要出现于学术讨论和新闻报道之中,检索和分析代表性文献,对算法歧视的探讨主要集中于以下三种语境,论证重点有所差异。

(一)算法社会语境下的算法歧视

随着智能设备的全面普及,数据的收集、处理与整合成为常态,作为主体的人正在被数据化和客体化,评分社会、微粒社会、数字社会直观地呈现了这种变化。算法的重要性逐渐凸显,它不但是实现数据控制的工具,而且具备主体化的潜力,足以形成算法权力。其野心是全知全能———了解一切并预测一切,控制算法的人对作为数据主体的人群进行分析、控制、指挥、命令和塑造,进而对整个人群进行分类、选择、理解和决策。算法社会中,企业与政府是算法的主要使用者,个人作为消费者无处逃遁,隐私和言论自由等个人权利将受到前所未有的多方威胁。较之于种种颠覆性变革和社会关系重构,算法歧视只是算法社会的危害之一,论者的关注焦点深入对人的智性发展进行遏制的可能路径。算法歧视或是遮蔽在这种叙事之中,或是仅作为规制算法或算法权力必要性的论据出现,相关细节问题没有进一步展开。

(二)技术限定下的算法歧视

与算法社会这一引人注目的宏观视角不同,强调在人工智能、大数据和自动化决策等技术语境下认知算法歧视的研究试图提出整体性应对方案。人工智能的实质是对人类思维活动进行模仿并不断实现进化,算法技术的提升使得前所未有的数据流被用来解决实际问题,通过“数据+算法”的方式自动形成决策。这一过程中可能出现的种种不公平现象,被统称为“算法歧视”。人工智能、大数据、自动化决策是从不同侧面呈现算法社会的方式,限定在这些技术语境之下讨论的歧视现象往往具有同质性,用以质疑和反思算法歧视的例证也高度趋同。施加了人工智能、大数据、自动化决策等不同技术语境进行限定的讨论中,关于算法歧视的界定并未体现出太大差异。这一方面说明前述技术在实践中高度交叉、难以进行有效区分,另一方表明施加这些技术限定对算法歧视的讨论并无助益,或许仅能起到彰显所涉论题前沿性的效果。

(三)特定领域中的算法歧视

针对已经出现的具体问题,实用主义导向的研究试图在比照传统歧视现象的基础上,探讨特定领域内的算法歧视问题。“大数据杀熟”、算法就业歧视、算法种族歧视、算法性别歧视等问题均引发关注。例如,“大数据杀熟”被特定化为经营者以大数据为“原料”借助算法技术对具有购买经历的消费者采取不利的个性化价格策略。规制“大数据杀熟”的讨论在《消费者权益保护法》或《反垄断法》的既定框架内展开。这对解决特定领域的法律适用问题具有现实价值,体现了部门法理论对新技术问题的积极回应。但部门法经验存在局限性,能否扩展到其他算法歧视问题不无疑问。此外,还有一些针对特定领域算法歧视问题的讨论虽然将主题限定在算法引发的某一具体歧视现象,但无论是成因分析还是治理路径最终都走向了对算法歧视普遍特点的一般化讨论,使得这种限定仅具有形式意义。

综观各个概念语境下对算法歧视的讨论,基本形成如下共识:作为算法权力扩张的副产品,算法歧视随着人工智能、大数据与自动化决策的发展应用而出现,能够与传统歧视现象形成对照,对算法歧视进行法律规制具有正当性和必要性。鉴于社会科学的核心问题是因果关系分析,对算法歧视规制路径的探讨必须探明算法歧视的根源。

二、算法歧视的根源探寻

算法是指将输入转换成输出的计算步骤序列,本质上是任何良定义(well-defined)的计算过程,将值或值的集合作为输入,将某个值或值的集合作为输出。算法决策既是对算法应用结果的概括,也体现了决策过程自动化的特点。在输入———分析———输出的三环节流程中,难以消除的既存偏见导致数据输入和算法设计中的偏见无法避免,算法决策的类型化思维形成的聚类和分类模式是一种有利于偏见生成的模型,而算法运行的准自主化趋势又进一步将偏见内化为算法的随机表达。

(一)既存偏见的难以消除

在探寻算法歧视根源的尝试中,将歧视追溯到算法偏见是最具代表性的做法。在美国被用于预测未来犯罪的算法工具COMPAS广遭诟病,不同机构的调查基本坐实了它基于种族、年龄、性别等上百个因素预测评估再犯可能性时极有可能对黑人造成歧视。梅森的论断颇具代表性:风险评估中种族不平等的根源既不在于输入数据,也不在于某个算法,更不在于算法方法本身,而是预测的性质决定了任何预测方法都会把过去的不平等投射到未来。他借用计算机科学的术语“垃圾进,垃圾出”(garbage in,garbage out),使用“偏见进、偏见出”(bias in,bias out)形象地概括了算法歧视的生成机理。与存在于计算机系统中的偏见类似,算法偏见主要来源于既存偏见,算法设计者在编程时可能有意或无意将自身偏见、社会风气、制度体制以及文化差异嵌入算法之中。算法决策的前提是获取数据,只要人类对某些群体或事物的偏见无法消除,这些偏见极有可能出现在输入算法的数据之中或将算法设计者自身的偏见融入其中,产生歧视性结果。

(二)算法决策的归类思维

基于大数据的算法决策流程可以大致概括为:使用历史数据归纳出某个类别,针对一个新的对象,按照已知的数据特征,将其归属于“最像”它的类别,如果该类别还有其它已知特征,就预测这个对象也具有相应特征。按照认知心理学的观点,类型化实际上来源于人类为了节省认知资源、简化认知过程而对未知事物范畴化的认知态度。范畴化导致的结果是范畴内部的相似性和范畴之间的差异性被夸大,进而形成难以克服的偏见。与传统决策相比,算法决策虽然在数据处理能力和决策效率上大为提升,但依然难以跳脱人类认知过程的类型化思路。这种思路一方面受到算法设计者认知模式的影响,另一方面是提升决策效率的必然选择。类型化思维主导下的算法决策很难实现真正的个性化,例如依据不同特征对消费者分类之后,被聚集于同一类别的消费者接收到的广告具有高度趋同性。

(三)算法运行的准自主化趋势

算法应用普遍采纳的机器学习使得算法运行日趋复杂,甚至出现算法设计者无法预料的结果,其中就包括歧视性的决策结果。算法运行的自主化不断提升,通过基于大数据的自我训练、自我学习过程完成参数调整与模型建构,实现算法的自我生产。较之于机器学习,深度学习进一步提升了算法运行的自主化,它使用了人工神经网络的分层结构,模拟生物大脑的神经网络,通过收集训练数据并进行学习,再将所学知识应用于更大的数据集。深度学习具有自动提取特征的功能,不需要数据科学家在其预测不理想时进行干预,不断实现模型优化,形成成熟模型并最终找到最优解。准自主化运行的算法在学习过程中建立了何种认知无从预测,被内化的偏见在算法决策中的随机表达最终导致歧视性结果的出现。

(四)对算法歧视进行分类的必要性

深入分析就会发现,算法歧视形成的根源与传统歧视具有高度同质性。首先,人类社会普遍存在的各种偏见无法消除已是事实,不同族群之间的异见与割裂非但没有弥合的迹象,反而渐有加深之势。其次,算法决策在思维模式上是对人脑的模仿,范畴化的思维路径依然是人类思维领域中的主导方式。最后,人脑进行的决策过程如何实现仍是科学研究中的基础性疑难问题,其自主化较之于算法更为突出。既然在根源上具有同质性,传统歧视的规制范式应在一定程度上具有类比与借鉴的价值。因此,有必要对算法歧视与传统歧视进行比对,检视算法决策与传统歧视之间究竟呈现出哪些关系,实现对算法歧视的类型化整合。

三、算法歧视的基本样态与类型界分

歧视的显著特征是对本质相同或类似的人或事进行不合理的区别对待。从时间维度考察,传统决策及其引发的歧视现象在前,算法决策和由此产生的歧视性结果在后。比对二者在结果上的差异,将发现算法歧视与传统决策下的歧视存在下列关系,算法歧视的基本样态也得以呈现。

图1算法与歧视的关系

(一)算法歧视的基本样态

1. 复制歧视

如果算法决策复现了原有的歧视,其实质是将原本存在的偏见显露于外。例如,在谷歌的广告服务中,定向推送的算法决策使得男性比女性看到的高薪招聘广告更多。这显然是复制了在职场中存在的性别偏见和性别歧视,甚至算法可能就是为了实现广告主希望将特定广告投放给特定主体的想法而设计的。

2. 减少歧视

如果算法决策使得歧视显著减少,其实质是隐藏了部分偏见。Uber的事例就是明证:美国的出租车司机群体中普遍存在对非洲裔犯罪率高、拒付车费可能性高等偏见,巡游式出租车经常拒绝黑人的乘车请求,形成事实上的歧视。Uber使用的算法程序添加了限制性要素,司机在接受行程订单后才能看到乘客的照片和目的地,防止司机基于姓名、家庭住址等能够判定种族的信息选择乘客。

3. 消除歧视

如果算法决策使得原有歧视不复存在,则是通过算法变量的设定以及机器学习的改进将原本存在的偏见隐藏或直接在算法的参考变量中剔除偏见。考吉尔(Cowgill)在研究一家软件公司工作筛选算法的表现时发现,当该公司推出算法来决定哪些求职者应该获得面试机会时,“非传统”求职者更受青睐,对显著性不足的求职者表现出的偏见明显减少。

4. 代理歧视

如果算法决策使得原有的歧视不易觉察,虽然在表面上隐藏了偏见,实质上依然造成了歧视性对待的结果。据彭博社报道,亚马逊在六个主要城市的当日送达服务区域不同程度地排除了以非洲裔美国人为主的邮政编码,而环绕这些社区的其他街区均能享受当日送达服务。这在表面上隐藏了针对种族、性别、年龄的偏见,但却通过其他能够替代相应偏见的要素形成“代理歧视”(proxy discrimination)。

5. 加剧歧视

如果算法决策使得原有的歧视更为严重,意味着既存偏见通过算法的运行扩散。这种扩散可能体现为社会群体中针对某人或某事的某种偏见更为严重,也可能体现为个人遭受的偏见和歧视性待遇随着算法的应用而更加严重。例如,谷歌的搜索引擎自动补足算法利用搜索记录帮助人们预测其想要搜索的内容,既存偏见反映在自动补足的搜索内容中,使偏见更为扩展。又如,一位患双向情感障碍的大学生想找一份装杂货的工作,但由于他申请的便利店都在使用相同的心理测试软件来筛选求职者,因此他被所有便利店拒绝。

6. 新增歧视

如果算法决策出现了新的歧视现象,意味着在决策过程中出现了新的偏见,并最终显露于外。算法应用中普遍采纳的机器学习以及深度学习使得算法运行更趋复杂,甚至出现不少意料之外的结果,其中就包括新的偏见以及歧视性结果。例如,卡利斯坎(Caliskan)等学者使用内隐关联测试(IAT)量化人类偏见时发现,在利用网络上常见的人类语言进行训练时,机器学习程序从文本语料库中自动推导的寓意中包含了偏见。

(二)算法歧视的类型界分

基于前述分析,如果和传统决策相比,算法歧视减少甚至消除了歧视,显然具有积极价值,应将其排除在算法歧视的范畴之外,对算法歧视的类型化整合也得以实现。

1. 复现型算法歧视

当算法决策出现与相同情况下的传统决策基本一致的歧视性结果时,算法成为实现歧视性对待的工具,复现了原本就存在的偏见。可进一步将其区分为直接复现与间接复现,前者指在人类决策场景下存在的偏见及歧视性结果直接体现于算法决策的结果中;后者指代理歧视,亦即在算法中使用替代性要素将显性偏见隐藏,但替代性要素达到与原有显性偏见相同或类似的分类效应,最终导致算法决策的结果出现了与基于显性偏见实现的传统决策相同的歧视性对待。复现型算法歧视并未产生新的歧视结果,相当于传统歧视现象在算法决策场景下的复现,但算法应用通常与网络环境高度匹配,使得歧视性对待容易扩张且难以觉察。

2. 加剧型算法歧视

加剧型算法歧视可区分为针对个体的歧视加剧和针对群体的歧视加剧,前者主要包括针对个体的某个偏见在同一决策者实施不同决策的场景中扩展、针对个体的某个偏见于同一场景下在不同决策者之间的扩展,以及进一步导致的双重累积效应,也就是某个偏见在不同决策者和不同决策场景中的一并扩展。针对特定群体的歧视加剧与针对个体的歧视加剧较为接近,同样体现为针对群体的某个偏见在同一决策者实施不同决策的场景中扩展、在同一场景下于不同决策者之间的扩展以及进一步导致的双重累积劣势,也就是某个偏见在不同决策者和不同场景中的扩展。在互联网平台化运营的背景下,用户数据向大型网络平台集中,平台经营范围的扩张与数据的跨平台流通使得加剧型算法歧视产生的负面影响有进一步扩张的风险。

3. 新增型算法歧视

新增型算法歧视主要出现在机器学习算法,特别是深度学习算法的应用场景中,其并未在实质层面产生新的偏见,而是算法程序在自主学习的过程中将人类社会中既存的种种偏见内化,生成歧视性决策,并通过算法程序实施的决策将偏见显露于外。算法运行的自主化趋势使得算法的开发者也无法掌握算法进行数据处理的选取标准及操作步骤。在人自主作出的决策中,种种偏见的形成也是通过学习实现的,在对外部信息进行接纳的过程中,不可能做到有效地自我过滤与实时审查。至少在偏见这个问题上,基于大数据的机器学习高度模仿了人类偏见的生成机理。随着算法程序中输入数据的实时更新,机器学习下的算法程序将产生何种偏见并将其体现在算法决策中得出歧视性结果,算法开发者与使用者往往无法预测。

四、规制歧视的传统范式及其缺陷

虽然算法歧视在根源上高度趋同于传统决策产生的歧视现象,但对算法歧视样态的进一步认知与整合发现:算法实现了对传统决策歧视现象的复现、加剧与新增。大数据应用提供数据输入来源、互联网平台化运行以及机器学习算法的自主化机理是传统决策场景下未曾出现的情形,对不同类型算法歧视负面效应的扩张具有助推作用,也为规制歧视的传统范式带来了结构性挑战。

(一)内部规制与外部规制的体系结构

我国关于反歧视的法律规定首先体现于宪法中,“公民的基本权利和义务”一章明确规定“中华人民共和国公民在法律面前一律平等”。在宪法学者看来,基本权利具有二元特征:一是使国家负担不得侵害基本权利的“保护义务”,体现权利的防御性观念;二是国家同意负担特定“给付义务”,体现国家必须为落实基本权利做出行动的积极面向。对传统歧视的规制也从这两个层面展开,前者体现为立法过程中的透明度和相关利益主体的充分博弈,防止制度化的歧视性对待;后者体现为部门法中针对平等权的实现设定权利义务关系,为歧视性对待提供法律救济途径。

1. 内部规制:利益评价的民主立法范式

对歧视现象的内部规制与不同国家在不同阶段的经济社会发展水平相关,曾具有正当性的制度在经济发展与价值理念更新时受到基本权利的诘问。例如,在计划经济体制下基于城乡二元结构与户籍管理形成的制度隔离,被行政规章等行政规范性文件予以确认。当市场经济发展带来人口自由流动的现实需求时,原有制度因歧视性对待而违反了不得侵害平等权的保护义务,对其展开反思与废止成为重要议题。目前,对歧视的内部规制也从检讨和废止既有立法中的制度性歧视转向对立法过程的关注,亦即如何通过规范立法过程,防止出现歧视性对待的制度设计。作为利益衡量过程的立法进程能否实现利益评价的民主化,将直接影响平等权的实现,进而决定了能否防止制度性歧视的出现。《立法法》第5条确认了民主立法的基本原则:“立法应当体现人民的意志,发扬社会主义民主,坚持立法公开,保障人民多种途径参与立法活动。”尽管在践行民主立法的过程中依然存在不少问题有待完善,但通过利益评价的民主立法范式在很大程度上实现了对歧视的内部规制。

2. 外部规制:基于权利义务的法律责任范式

为进一步落实宪法中规定的平等权,部门法针对特定主体与特定事项设定了诸多不受歧视对待的权利义务关系。例如,《民法典》《劳动法》《教育法》《妇女权益保障法》都明确规定了不同领域内的平等权和针对特定群体的反歧视义务。在司法实践中,针对歧视现象提出的诉讼涉及多种歧视类型且大多在隐私权、人格尊严权、劳动权、公平就业权等侵权诉讼案由下展开。这表明前述立法中有关反歧视义务的规定对于法律救济并无规范意义,当事人和人民法院在具体化的民事权利框架中对权利义务关系以及法律责任进行评判,这与反歧视立法通常是在一般意义上为公共部门和私人企业设定普遍的反歧视注意义务的模式有关。尽管国际层面的反歧视法已从针对直接歧视的形式平等扩展到面向间接歧视的实质平等,但主要体现为采取特别措施弥补歧视后果的肯定行动。由于歧视性对待具有价值评判色彩,平等权在部门法中的具体化注定不可能形成类似于传统民事权利的规范结构。但借助既有民事权利,特别是人格权,结合维护人身自由与人格尊严的规范目的,足以在个案中实现对歧视结果的法律责任评判。

(二)算法运行的“黑箱化”与内部规制的冲突

内部规制旨在通过民主程序实现利益评价过程的透明化,赋予利益相关方充分的表达自由,防范可能出现的制度化歧视,在立法环节实现对平等权的消极防御。从本质上来说,“算法和法律都是统辖具体文本的、为解决特定问题而创造出的行之有效的方案。”较之于立法造成的制度性歧视,行政机关与商业机构普遍采用的算法决策已在很大程度上发挥了类似于法律的效果,莱斯格口中的“代码即法律”成为现实。与立法通常经由复杂的利益博弈且程序繁复不同,算法的设计和应用成本大为降低,在政府管理和商业经营的场合普遍采用。由此生成的决策较之于传统决策具有高效便捷、节省制度资源的优势,但也排除了利益相关方对算法生成过程的观察、评价与介入。学界对此提出了“算法解释权”与“算法透明”的主张,在一定程度上实现对算法的内部规制。算法解释权在比较法上已经有所体现,欧盟《一般数据保护条例》(GDPR)对算法决策设定了一般性禁止与例外应用时的算法解释权,算法决策的相对人有权获得解释并据此提出异议,美国司法实践中法院也对当事人提出了解释算法的要求。算法透明亦来自域外实践,美国学者认为它是针对算法的事前规制原则,要求算法的设计方或者使用方披露包括源代码、输入数据、输出结果在内的算法要素。

然而,算法解释权以及算法透明与算法运行的“黑箱化”特点存在不可调和的冲突。前文论及的机器学习准自主化趋势只是算法运行“黑箱化”的一个表现形式,它导致的问题是算法解释与透明在技术层面不可行;就法律层面的障碍而言,算法输入数据中的大量个人信息一旦被公开会产生侵害隐私和个人信息权益的风险,算法程序作为企业的核心竞争力,通常以商业秘密的形式进行保护;此外,应用于公共安全领域的算法与国家安全密切关联,难以进行解释或实现透明化。算法运行的“黑箱化”既有技术原因,也有市场竞争和国家安全的原因,在法律层面具有正当性依据,这为算法解释权和算法透明的可行性增加了难度。

(三)算法逻辑的相关性本质与外部规制的矛盾

外部规制旨在通过权利义务关系在歧视性结果与具体决策之间建立因果联系,从而为违反不得歧视义务的主体确定法律责任。算法从随机数据中提取模式,与规范性方法不同,它是一种建立在学习性、描述性和统计学基础上的定量方法。其机理在于将新增加的信息和之前形成的记忆不停进行综合,从动态的随机数据中临时建立相关性并做出判断。例如,根据销售数据,购买过海明威作品的顾客大部分会购买菲茨杰拉德的书籍,由此在二者之间形成了相关性结论,当消费者点击选择海明威的书籍之后,亚马逊的个性化推荐便会出现菲茨杰拉德的作品。基于相关性的预测是大数据的核心,其进一步应用的结果是:针对某人可能做出某种选择或实施某种行为预测的相关性变量众多,甚至与某人的具体行为没有关联,只是由于统计数据中体现出某个变量或某些变量与某种行为之间具有相关性,相应变量便足以左右最终针对某一个体的决策。正是由于这种相关性,通常不可能对决策基于什么信息或为何做出决策给出明确答案,基于大数据的机器决策背后甚至可能没有逻辑。

如果以侵权责任的确定为原型,歧视性结果对应着损害后果,算法决策对应着行为,但算法逻辑的相关性本质决定了确定后果和行为之间的因果关系非常困难。大数据背景下驱动决策的算法面对众多变量,寻找算法决策和歧视性结果的因果关系相当于在众多变量中判定那个或哪几个变量最终促成了决策结果的形成。依据民法理论,对条件因果关系和相当因果关系的考察在面对算法时都显得无的放矢。通过“若无,则不”的公式考察算法决策,即便能够穷尽算法运行中纳入的所有变量,也很难确定没有哪个或哪几个变量,就不会出现相应决策结果;更难于确定哪些变量能够满足“无此行为,虽必不生此损害,有此行为,通常即足生此种损害”的要求。如此一来,外部规制的尝试存在着因果关系链条断裂的缺陷,对算法歧视问题的解决也会陷入逻辑悖论。

五、重塑算法歧视的规制范式

将传统范式套用于算法歧视的尝试难于成功的原因,一方面在于算法运行的“黑箱化”和算法逻辑的相关性本质,另一方面在于算法决策对歧视的呈现在不同场景下具有质和量的差异。算法决策与歧视的具体关系决定了借鉴传统规制范式的可能性,由此,根据前文概括的算法歧视类型重构规制范式便具有了现实意义。

(一)复现型算法歧视的规制

复现型算法歧视的实现方式有两种:一是直接将原有的偏见与歧视的因果联系转化到算法中;二是使用替代性变量替换传统决策因果链条中作为原因而存在的偏见。二者的结果都是复制了传统决策场景中产生的歧视性对待。对直接复现与间接复现的规制重点存在差异,前者重在发现歧视效应,后者重在探明替代变量。

1. 规制直接复现型算法歧视重在发现歧视效应

直接复现型算法歧视的典型例证是前文提及的谷歌定向推送广告的算法使男性比女性看到的高薪招聘广告更多,这是将本就存在的男性比女性更适宜高薪职位这一针对性别的偏见进而将高薪职位信息更多提供给男性的因果链条转化为了算法。此时,偏见与歧视性对待之间的因果关系明确,当受到歧视性对待的主体以诉讼形式主张权利时,算法的设计者和使用者应承担法律责任。但是,由于算法通常与网络环境深度绑定,其产生的歧视性结果难以轻易察觉,大多数网民既没有动力也没有能力判断是否遭遇了歧视性对待。算法的设计者也没有动力主动改善歧视性结果,这为外部规制的实现带来了前提性障碍。事实上,网络时代个体对算法决策的被动接纳已成常态,在未触及切身利益的情况下,即使察觉可能的歧视性对待,通常也会选择容忍。由此,引入算法歧视的社会监督具有必要性,设定监管机构受理针对算法歧视的公众投诉、允许和鼓励社会公益组织针对算法歧视提起公益诉讼值得尝试。《网络安全法》第8条规定国家网信部门负责统筹协调网络安全工作和相关监督管理工作,在未来不妨由其作为受理投诉算法歧视的行政机构。

2. 规制间接复现型算法歧视重在探明替代变量

在算法决策的场景中,以代理歧视为典型的间接复现型算法歧视危害可能更为严重。例如,前文提及的亚马逊当日免费送达服务算法使用邮政编码替换了原有的偏见和歧视因果链条中指向种族偏见的非洲裔聚居地区。线下活动与互联网深度融合后,对应于线下活动中某些决定性因素的替代变量开始增多,其深层原因在于个人进行网络活动时留下的能够识别身份与特征的痕迹越来越丰富。对个人信息进行的广泛收集和深度分析足以实现通过特定符号对网络用户分类,从而将相应符号设定为算法中的变量,复现原有的歧视性结果。就代理歧视而言,歧视性结果的发现并非难题,规制的重点应投向对替代性变量的探明与剔除,在源头上限制算法对偏见的隐性替换。立法已关注到这一问题,例如,《电子商务法》第18条规定:“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的,应当同时向该消费者提供不针对其个人特征的选项,尊重和平等保护消费者合法权益。”其规范意旨中隐含了防止个人特征作为替代性变量进入算法程序之中实现歧视对待的功能。此外,《个人信息保护法(草案二次审议稿)》也强调可能导致个人受到歧视是界定敏感个人信息的标准之一,通过自动化决策方式进行商业营销、信息推送,应同时提供不针对其个人特征的选项。需要注意的是,有些变量并不属于个人特征,也并非传统意义上的敏感信息,但足以定位到特定群体,有必要对这些变量进行归纳和概括并将其排除在算法决策的范畴之外。

(二)加剧型算法歧视的规制

加剧型算法歧视通过两种形式加剧了对同一个体或群体的歧视性对待:一是同一决策者在多个决策场景中对同一个体或群体做出相同的歧视性对待;二是不同决策者在各自做出的决策中对同一个体或群体做出相同的歧视性对待。网络运行平台化的背景下,加剧型算法歧视体现为平台内的加剧和平台间的加剧,对前者的规制应投向制衡平台算法权力,对后者的规制应关注对抗平台合谋。

1. 规制平台内加剧型算法歧视重在制衡平台算法权力

移动互联网和大数据、人工智能的不断发展使网络空间与现实世界的连接更加紧密,业务内容较为单一的网络服务提供商积累了大量的用户和数据,借助路径依赖心理产生的“锁定效应”,不断扩张商业版图,形成超大规模的网络平台,成为网络世界游戏规则的制定者。同一平台内不同应用程序收集的用户数据具有互通性,由此形成的算法决策程序一旦嵌入既有偏见,在全平台内都将产生歧视性对待,从而加剧算法歧视,使相应个体或群体无处遁形。面对强大的平台,个人用户以及使用网络平台进行交易的商家对算法决策的适用结果缺乏有力的对抗手段,对平台内加剧型算法歧视的规制也只能寄希望于对平台算法权力的一体制衡。目前,平台权力的扩张引起高度关注,国务院反垄断委员会发布《关于平台经济领域的反垄断指南》,国家市场监督管理总局对阿里实施的“二选一”行为开出巨额罚单。《个人信息保护法(草案二次审议稿)》也对大型网络平台设定了相应的个人信息保护义务。这些措施将有力制衡平台权力,但具体到算法歧视问题,在行政处罚等规制手段之外还需考量平台算法权力监管如何具体化的问题。

2. 规制平台间加剧型算法歧视重在对抗平台合谋

平台间的合谋不仅包括商业型平台间的合谋,还包括政府与平台的合谋。虽然大型网络平台通常呈现为激烈的市场竞争关系,但由于各自的优势领域差异,基于利益诉求进行合作的情况也越来越普遍。平台间进一步开展数据流通与共享后,算法歧视在平台间的扩张也难以避免。此外,政府与企业之间,特别是与大型网络平台之间的关系趋于复杂,基于加强网络监管与获得监管优待的利益交换使二者进行深度合作的可能性越来越高,美国学者将这种关系比喻为“大哥与马仔”。此种合谋在公共管理方面具有积极意义,例如,人民银行的征信系统接入网络贷款数据有利于防范金融风险。然而,存在偏见的数据与算法一旦通过这种合谋进行大范围适用,将产生普遍的歧视性结果。为了对抗平台合谋,一方面要为个人保留算法决策之外的选择权,另一方面要对跨平台的算法应用施加更严格的监管。

(三)新增型算法歧视的规制

新增型算法歧视出现在机器学习算法应用的场景下,不同的机器学习算法在可预测性方面的难度存在差异。有监督的算法意味着设计者和运营者能够控制决策系统的学习方向和预期结果,无监督的算法则无法预设和控制其输出结果。这意味着对这两种技术模式之下的新增型算法歧视进行规制也有差异:对有监督的机器学习算法,应通过风险评估降低其不确定性;对无监督的机器学习算法,则应通过限制应用范围规避其不确定性。

1. 规制有监督模式下的新增型算法歧视重在评估算法影响

按照计算机领域的专业界定,学习效果较好的机器学习算法一般情况下都难以脱离监督学习的作用。即便是“阿尔法零”(AlphaGo Zero)这样的机器学习代表作,其训练过程也需要受到人为设置的围棋胜负规则限制。因此,对有监督的机器学习算法能够事前干预,但这种算法仍然具备动态更新的特点,存在较大的不确定性,如何降低新增算法歧视出现的风险与可能性是需要重点关注的问题。建立恰当的风险评估机制是一种较为理性的选择,需要监管机构和第三方协同努力,借助多学科的专家力量,不断优化监督效能,强化设计者和运营者对算法决策的控制力。在这一过程中,需明确特定人员对特定事项的算法输入数据、输出内容、系统源代码的访问权限,保证算法风险评估的有效开展。

2. 规制无监督模式下的新增型算法歧视重在限制算法应用

无监督的机器学习算法具有高度的不确定性,在决策过程中产生偏见并形成歧视性对待的结果也无法预估,由此成为设计者与使用者推诿责任的借口。在技术水平尚不足以实现对这种算法进行有力干预的前提下,只能对应用范围做严格限制,可以考虑将其限定于科学研究与电子游戏等不影响人类现实活动的领域。此外,即使设定了这种限制,仍然难以避免在现实中出现应用机器学习算法并产生歧视性对待的结果,因此有必要设定针对算法设计者与使用者的无过错责任或过错推定责任,使受到歧视性对待的算法决策相对人获得救济。通过侵权法上更为苛刻的注意义务设定,也能倒逼算法设计者对算法技术进行改进与优化。

六、结语

反歧视立法是私主体权利意识觉醒之后要求公平对待并争取权利和实现权利的过程,更多体现为对公权力的限制。进入大数据时代,算法权力的兴起已是不争的事实,对个人生活越来越具备“构成性地位”,对抗算法权力也成为应对算法歧视并在算法社会中争取公平对待的核心问题。对算法歧视进行类型化整合,针对复现型算法歧视、加剧型算法歧视和新增型算法歧视确定各自的规制重点,实现对算法歧视规制范式的重构,本质上仍是从不同侧面为制衡算法权力提供更多可能路径,以期进一步探究算法背后的人性基础和制度目标。

责任编辑:林士平  学术编辑:林少伟  审核：林士平