汪庆华:算法透明的多重维度和算法问责 | 比较法研究202006
内容提要:随着算法在社会经济中的广泛应用,算法如何向公众负责成为一个重要的法律议题。在算法引发的偏见、歧视和支配的讨论中,平等保护、正当程序和反不正当竞争机制将发挥重要的作用。作为算法规制的一般化原则,算法透明是实现算法问责的重要机制。我国《个人信息保护法(草案)》明确了算法自动化决策的透明度要求。就具体规制手段而言,算法透明包含着从告知义务、向主管部门报备参数、向社会公开参数、存档数据和公开源代码等不同形式,算法解释权也可以看成是算法透明原则的具体化体现。算法透明的目标在于化解人类对算法决策可能失控的风险的忧虑。算法监管需要将事前监管和事后监管结合起来,在事前监管中建立算法透明原则,监管强度需结合场景和目标,对现有算法引发的消费者保护、中小商户利益、公众知情权等问题进行有针对性的回应,基于比例原则,选择适当的透明化义务,通过多重维度的算法透明机制的构建实现算法问责。
关键词:算法透明;报备参数;影响性评估;算法问责
算法已经广泛应用于社会的各个场景。平台利用算法对用户进行个性化推荐,警察运用算法预测某一地区犯罪的情形以决定警力配置,社会福利部门利用算法决定申请者能否获得失业补助,人事部门利用自动化程序对申请户籍的人进行审批,法院利用算法辅助量刑和作出假释决定。无论是商业运用还是政府决策、辅助司法,算法已经成为市场、政府之外的重要的泛在性技术力量算法是技术理性的象征,它在社会中的广泛应用带来了自由意志和正义等具有主体性色彩的价值之间的紧张。
算法可能的误用和滥用引发了规制的呼声和行动,而算法在政府自动化决策中的系统性失误直接引发了相关的诉讼。2019年,格兰特包瑟曼(Grant Bauserman)、卡尔威廉姆斯( Karl Williams)和泰迪博尔(Teddy Bore)在密歇根法院提起了对该州失业保险局的集团诉讼,他们主张,在利奇施耐德(Rich Snyder)州长任期内,利用密歇根融合数据自动化系统(Michagan Integrated Data Automated System, MIDAS)对申请失业补贴进行审核,由算法决定申请者是否欺诈,并施加处罚。这是一个自动化行政裁决的程序。最后发现,这套系统存在着93%的出错率,40000人受害 澳大利亚社会保障部的智能催债(Robo-Debt)系统Centrelink发生了几乎类似的算法裁决错误,成千上万的福利申请者收到了Centrelink系统的邮件,要求他们证明未冒用资格获得社会福利,该系统存在20%的错误率,收件人或者根本没有获得过社会福利或者政府求偿数额超过当事人应当给付的。这一自动化算法受到了激烈的批评,国会工作小组建议暂停这一系统的使用密歇根融合数据自动化系统以及Centrelink的重大缺陷直接向我们呈现了算法裁决错误给民众社会福利权带来的系统性侵害。心理学研究表明,人类在面对计算机给出的正确解决方案的时候倾向于无视或不去搜索相反的信息,人类一般不太愿意偏离或者质疑算法形成的结果。这一人机互动形成的对自动化/算法的过度依赖被称之为自动化偏见,人类对计算机系统有一种过度的信任,在面对自动化形成的解决方案时往往无视那些和其方案相矛盾的信息,一般更不会去搜索和它相反的信息。所以,在这两套系统最初出现错误,民众对错误反馈的时候,算法的运营者对这类信息基本采取无视的态度。除了官僚体制的惯性之外,对自动化决策的过度信赖也难辞其咎。算法决策日益普及,这将会带来行政程序的结构性调整。现有的法律规制框架应当确保受到算法决策影响的人能够理解和挑战这些决定。
在系统性风险之外,算法的应用还会带来算法歧视、算法支配以及算法黑箱的问题。数据本身反映了社会的现实状况、人民的心理和社会的偏见。数据驱动的算法/人工智能将会重复、再现乃至强化数据中的偏见。算法所利用的数据中隐含的偏见问题是一个社会事实。偏见进,必然是偏见出。输入的数据暗含偏见、测度偏差、变量不足以及不适当的标准等原因都有可能导致数据挖掘和算法带来对特定群体的不利影响。弗吉尼亚尤班克斯(Virginia Eubanks)在《自动化不平等》中指出,当大数据分析和算法应用于穷人和工人阶层的时候,数据和算法机制带来现状的自然演化,而非革命性变革,它进一步强化和延续了近代的济贫措施中的道德主义倾向和惩罚性后果。另外,算法也因为受众群体在性别、年龄、肤色、地域等问题上而产生不同的影响,带来差异性的后果,乃至直接的歧视;无论社会事实还是差异性后果都可以运用平等保护的原则和理论进行回应。
就算法支配而言,其可以分成两个层面:公民个体层面,应当以技术性正当法律程序去建构算法救济机制,用户在算法规制之外,应当有接近司法/正义的机会。任何一种决策机制,当它对相对人的权利义务造成直接影响的时候,赋予其救济的权利、听取其意见和陈述是正当法律程序最基本的要求。我们很难将算法本身界定为正当程序,将算法界定成正当程序是误会了正当程序本身和正当程序需要规制的对象。监管者执法是市场秩序维护的一种常规手段,或者说在某些行为具有外部性时进行干涉的手段。更为重要的机制,仍然应当放在对消费者/用户/公民个体行为的激励上。
在企业层面,如果算法改变了市场结构、损害消费者福利,这将引发反不正当竞争乃至反垄断的执法。平台企业利用算法完善定价模型、优化客户服务以及预测市场发展趋势。算法合谋成为监管者关注的现象,2017年OECD《算法与合谋:数字时代的竞争政策》报告中指出,因为算法的迅速发展,竞争对手之间可以即时互动、利用代码作为媒介,达成共同目标。数字经济环境下,协议的概念应和传统的协议有所差别。2020年11月10日,国家市场监督管理总局公布的《关于平台经济领域的反垄断指南(征求意见稿)》针对平台经济的业务模式特点,细化了横向垄断协议和纵向垄断协议的概念,对滥用数据优势、算法合谋和轴辐协议进行了直接的规制。平台规则、数据和算法成为平台经济反垄断的重要考量因素。
算法黑箱这一隐喻对算法监管的影响非常关键。黑箱的隐喻表达了由于算法不透明而引发人类失去对决策过程控制这一风险的担忧。人类将影响自身权利义务的决策赋予了自己无从理解的黑盒子,这似乎意味着算法透明的困难乃至不可能。算法黑箱输出的结果就成为不可避免的事情,就像自然界的力量一样,只能被驯服,无法被控制。算法面纱也许是一个比算法黑箱更为合适的隐喻,将自动化决策背后的人类决定和价值判断披上了一层面纱。面纱的好处是它邀请人类随时把面纱揭开来,从而露出算法的真实面貌。
目前的立法已经就参数规制形成了两种模式:向行政机关报备和向社会公众披露。相比于向社会公众披露,向行政机关报备的模式能够兼顾商业利益与公众保护之间的平衡,竞争性的利益相对而言可以获得更好的保护。机器算法在金融、医疗卫生、食品药品等事关经济秩序、民众健康和社会稳定的行业得到越来越多的运用,在这些领域向主管机关报备参数不失为提升算法透明度的举措。
(一)向行政主管部门报备参数
2018年3月28日,中国人民银行、中国银行保险监督管理委员会、中国证券监督管理委员会、国家外汇管理局联合发布了《关于规范金融机构资产管理业务的指导意见》(以下简称《资管新规》)。该指导意见对人工智能在金融领域的应用进行了规制,从胜任性要求、投资者适当性以及透明披露等方面对智能投顾中的算法进行穿透式监管。
《资管新规》明确规定,运用人工智能技术开展投资顾问业务应当取得投资顾问资质。金融机构运用人工智能技术开展资产管理业务除了要遵守投资者适当性、信息披露、风险隔离等一般性规定外,金融机构还应当向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑。报备智能投顾模型的主要参数意味着算法黑箱的打开,算法透明得到了一定程度的贯彻。《资管新规》还要求在智能模型缺陷或者羊群效应的背景下,金融机构必须进行人工介入。无论《资管新规》还是《网络信息生态内容治理规定》关于人机关系的规定体现了一个重要的立法思路,即在特定情形下,人工对于算法/人工智能的介入/接管成为处理人机关系的一个重要准则。
自动化决策并不意味着算法替代了人,它只是改变了人工作的方式。设计者和工程师需要充分意识到,自动化决策不仅是一个技术问题,同时也是具有社会、伦理和法律后果的行为。这意味着自动化决策需要有伦理面向的考量。设计者在设计系统的时候必须要考虑自动化的程度,以及何时需要人工介入。对于封闭状态下无需灵活性的任务,系统性失灵的可能性较小时,可以实行完全的自动化,而对于动态环境下外在条件和约束明显,高度自动化可能就不是那么明智。在自动化程度这一因素之外,为实现价值导向,设计者需要将设计阶段的价值判断以可以理解的方式记录下来并方便后来的审查。算法规制应当随算法技术的迭代而升级,算法的设计、部署和运行都应当要贯彻透明原则的要求;应当将透明原则引入算法的设计和训练阶段,因为算法最初的价值设定对于算法结果有决定性的影响。
(二)向社会公众披露参数并说明理由
《电子商务法》规定不得利用技术优势排除或限制竞争,对二选一的行为进行了明确的禁止。在每年双十一大促销的时候,都会爆出很多企业强制二选一,平台可以利用技术优势对商家采取搜索降序、直接屏蔽等措施。商家在很大程度上依赖电商平台。对此,大部分的商家无法和平台进行平等对话,只能默默忍受这样不太合理的交易条件。由于商户在举证上的困难以及与该条款相对应的责任条款无法对违法者的行为形成有效的威慑,该条款在实施中并没有达到立法者预期的效果。就法律关系的调整而言,电子商务法的重心一方面在平台和消费者之间的关系,另一方面在平台和平台内商户的关系的透明化,并且,以透明化促进公平性也是算法规制的重要目标。欧盟2019年6月19日通过的《平台和商户间公平性和透明度法》第5条的规定和我国《电子商务法》第35条的规定非常接近。就其规定的形式而言,是通过规制搜索算法的参数,要求向公众披露参数来实现对平台权力的有效规制。
《平台和商户间公平性和透明度法》第5条规定:“线上中介服务提供商应在其条款中列出决定排名的主要参数以及这些主要参数相对于其他参数的相对重要的理由。(1)在线搜索引擎的提供商应在其在线搜索引擎上列出并说明主要参数,这些参数在排名方面具有决定性并且相较其他参数具有相对重要性。说明应当是通俗易懂的,易于获得的,并时刻保持更新。(2)主要参数包括对商业用户或企业网站用户向各自提供商支付的直接或间接报酬可能对排名产生的影响,该提供商还应根据第1和第2款的要求,说明报酬对排名的影响。(3)如果一个在线搜索引擎提供商在特定情况下改变了排名,或者在第三方通知后将某个网站下架,企业网站用户应该有权能够查看该通知的内容。”电子商务领域之外,玛丽×杨(Mary L. Young)和阿尔弗雷德×赫米达(Alfred Hermida)在新闻算法领域提出了类似的主张。他们认为新闻应当完整地向公众公布在信息处理过程中涉及的参数、机器学习的规则和逻辑推理过程。在新闻算法中,研究者更担心这一技术带来的信息茧房效应。
(三)算法解释权
算法解释权也可以看成是算法透明原则的具体化体现。相对于形式化的算法部署告知,算法解释权更是一种实质性的算法透明度的实现方式。算法解释权在2018年5月25日生效的欧盟《通用数据保护条例》中被明确下来,成为了一项实证化的权利。这一权利在欧盟范围内得到了广泛认可,并在各国通过政策标准予以具体化。2020年5月20日,英国信息专员办公室与阿兰×图灵研究所共同发布了《人工智能决策说明指南》,为算法解释提供了指引。我国《个人信息保护法(草案)》规定,个人认为自动化决策对其权益造成重大影响的,有权要求个人信息处理者予以说明。这一条款采用的是对个人权利的重要影响标准,相对于欧盟《通用数据保护条例》中将算法可解释权限定在影响公民权利义务的自动化决策,显得还要广泛些。这一解释权同时也是实现《个人信息保护法(草案)》所要求的自动化决策结果公平合理的权利机制。
由于法学研究对权利话语的路径依赖,尤其是在欧盟《通用数据保护条例》中明确了算法解释权条款后,相当的研究文献将算法规制和算法解释权联系起来,并期待通过可解释指向算法问责。用户对算法的解释权成为算法法学研究的核心命题之一。算法解释权领域积累有了大量的研究文献。算法解释最后的形态仍然是对算法决定的结果或者算法内在的逻辑作出具体的、合理的描述。对算法结果的解释和对算法相关的逻辑的解释是算法解释的一个重要分类。GDPR的算法解释权如要落实,数据处理者就需要承担算法逻辑解释的义务。另有学者提出了“具体决策”的解释和“系统功能”的解释,这对应于前述划分,具有类似的效果。算法可解释性存在明显的限度,问题不在于算法的复杂性,而在于算法建立的数据可能是没有办法解释的。此外,在机器学习算法中,对于监督学习,我们能够知道输出和输入之间的关联;但非监督学习中,我们并不知道输入转化成输出的时候应用了哪些特征值和哪些相关的信息。尽管算法解释权面临技术上的困难,为了建立数据主体和数据控制者之间的信任,建构恰当的算法解释权体系仍然有助于帮助数据主体理解决策是如何作出的,如何获得对该决策的救济,以及如何通过改变自己的行为从而获得自己期待的结果。
算法决策和其他类型的决策存在的不同特征导致需要算法解释,算法存在难以理解(inscrutability)和非直觉性(non-intuitive)两大特点。欧盟《通用数据保护条例》第13条至第15条所要求的数据主体应当能够获得自动化决策逻辑相关的有意义的信息。美国《公平信用报告法》(FCRA)和《信用机会平等法》(ECOA)都规定了“不利行动告知”(adverse action notice)条款,要求贷方就不利的算法评分向金融消费者进行解释,包括拒绝提供信贷、拒绝录用或提供保险服务等其他信用评估输出结果的具体原因,这两部法律同时还建立了赋予金融消费者就信息的不准确或不充分获得相应救济的权利。
无论是美国《公平信用报告法》、《信用机会平等法》,还是欧盟《通用数据保护条例》,它们主要的都是在回应算法的难以理解。上述立法没有解决无监督学习下的输入和输出之间的非因果性,没有能够对算法的非直觉性进行回应。在很多情形下,直觉是对规范进行描述性陈述的桥梁。由于机器学习的价值恰恰在于它发掘的是有违直觉的统计学关系,而非因果关系。在特定情形中,哪一些统计学的关系是决策的基础是很明显的,但为什么存在这样的统计学关系犹如谜团。要理解算法决策为什么是它们所呈现的样子,现有的立法要求解释模型本身仍有不足。如果算法是可评估的,算法模型在输入和输出之间的非因果关系或者说非直觉性问题不能被忽视。
影响性评估广泛地运用于个人信息保护、数据安全以及算法的设计、运用和部署中。影响性评估是对数据项目的数据风险进行分析、辨识和最小化的制度。它不可能根除所有的危险,但是会有助于决定在特定环境下风险的水平是否可接受。影响性评估使得风险在很早的时候就可以被发现,因此成为风险社会中被广泛采用的一种风险防范机制。一般认为,持续的影响性评估会有助于提升数据处理者隐私和数据保护的意识。另外的效果就是,影响性评估使得设计阶段就参与进来的人员在开始设计项目的时候就会考虑到隐私,并有助于采取设计隐私的进路。根据欧盟GDPR的要求,数据控制者必须对那些对自然人的权利和自由造成高风险的操作采取数据保护影响评估。当数据处理是基于自动化系统作出的,或者是在大规模地处理特殊类别的数据,以及大规模系统地监控公开区域时,应当要进行数据影响评估。影响性评估制度作为风险防控方式,相当于给数据处理加了一把安全锁,是一种比较常见的个人信息和数据安全的保护机制。
在技术中立的背景下,算法往往由于价值缺失、设计缺陷或信任危机而产生严重的算法风险。作为计算机程序,价值目标的混乱或者扭曲轻则引发算法侵扰,重则带来系统性的权利侵犯。深度伪造对于人脸识别的滥用、机器生产新闻对于言论市场的扭曲、大数据杀熟对消费者剩余价值的获取,所有这些不过是算法价值目标丧失带来的诸多负面效应之一。此外,因软件设计模块的缺陷而产生的算法系统性安全风险,因数据残缺或数据偏见而带来的内生性的算法偏见,因算法结果歧视而引发的信任危机,等等,这些都是算法风险的具体表现。为了回应这些风险,算法影响性评估成为算法问责的一个重要的制度设计。建立算法影响评估制度和建立健全算法问责方案成为机器学习算法有效规制的途径。美国算法立法就将影响性评估作为最重要的算法规制手段。2019年4月10日,美国参议院科瑞×库克(Cory Cooker)和罗恩×韦登(Ron Wyden)提出了《算法问责法(草案)》,要求对算法进行系统和数据保护的影响性评估。违反该法的行为将会被认定为不公平商业行为或实践,引发竞争法的规制。《算法问责法(草案)》认为,算法指的是基于机器学习、统计学、其他数据处理或人工智能技术的计算过程作出的决定或辅助人工决定。该法的管辖对象包括:(1)连续三年营业额达到500万美元;(2)处理或控制的个人信息超过100万人次或100万台终端设备;(3)收集、归集、持有非其用户的个人信息作为主营业务的数据中间商或商业实体。以其管辖对象的具体内容来说,《算法问责法(草案)》的覆盖范围是非常广泛的,几乎所有的互联网企业都会成为该法适用的目标。
高风险算法在该法案中引发了特别的关注,《算法问责法(草案)》基于算法的特点、应用的领域、处理数据信息的内容而将以下算法认定为高风险算法:(1)由于算法的新颖性以及性质、范围、内容和目的,对消费者个人信息隐私和安全带来高风险的算法;(2)带来歧视性后果的算法;(3)基于个人的工作表现、经济状况、健康、个人偏好、地理位置和行为轨迹而作出的影响个人权利的算法;(4)涉及相当数量消费者的种族、肤色、政治观点、宗教、工会身份、生物数据、健康、性别、性倾向、犯罪记录、逮捕记录的算法;(5)系统性监控大型公共场所的算法。
《算法问责法(草案)》中的算法影响性评估的内容包括:(1)算法的详细描述,包括设计、训练、数据及其目标。(2)数据最小化的要求、个人信息及决策结果存储的时间。(3)消费者对决策结果的获取权、修改权。(4)评估算法对个人信息隐私和安全影响,以及歧视性后果方面的风险。(5)算法主体采取的降低风险的措施。
就算法影响性评估机制的构成而言,其最重要的面向仍然在于算法的透明化要求,这一透明化兼顾数据和算法本身,可以看作穿透式监管在算法领域的一个运用。算法影响性评估可以运用在新闻算法、搜索算法、自动化行政等不同场景当中,作为算法规制的一个共同进路,应当结合具体领域的安全敏感性并考虑技术特点,将算法划分成自由使用、限制使用和禁止使用等不同等级。在影响性评估机制的设计中,算法透明是其中的重要要求,犹如美国《算法问责法(草案)》所明确的那样,但就透明化的程度仍应结合算法的具体运用场景考虑透明度的具体形式。
《比较法研究》2020年第6期目录
【习近平法治思想研究】1.论习近平法治思想中的国际法要义柳华文【论文】2.比较法视野中的印证证明龙宗智3.论通过增设轻罪实现妥当的处罚——积极刑法立法观的再阐释周光权4.基于“醉驾刑”的“行政罚”之正当性反思与重构解志勇、雷雨薇5.刑法因果关系的司法证明杨建军6.从《侵权责任法》第87条到《民法典》第1254条:“高空抛(坠)物”致人损害责任规则的进步张新宝、张馨天7.民法典意定居住权与居住权合同解释论汪洋8.论意思自治在亲属身份行为中的表达及其维度冉克平9.国家的“历史性”及其在魏玛宪法中呈现的三个瞬间高仰光10.信息和数据概念区分的法律意义梅夏英11.算法透明的多重维度和算法问责汪庆华【法政时评】12.论标准替代法律的可能及限度柳经纬13.惩罚性赔偿责任的二元体系与规范再造高志宏《比较法研究》(双月刊)是中华人民共和国教育部主管、中国政法大学主办的法学期刊,由中国政法大学比较法学研究院编辑出版,创刊于1987年1月,1992年9月经国家新闻出版署批准于1993年起向国内外公开发行。原刊期为季刊,自2003年开始改为双月刊,逢单月25日出版发行。
-END-
责任编辑 | 李妍靓
审核人员 | 张文硕
刘东亮 | 技术性正当程序:人工智能时代程序法和算法的双重变奏
点击相应图片识别二维码
获取更多信息
北大法宝
北大法律信息网
法宝学堂
法宝智能
点击「在看」,就是鼓励