域外采风第34期 | Cary Coglianese《算法规制：作为治理工具的机器学习》孟李冕、宋华琳译
算法规制：作为治理工具的机器学习
作者
— 卡里·科利亚尼斯—
Cary Coglianese，宾夕法尼亚大学Edward B. Shils讲席法学教授、政治学教授，宾夕法尼亚大学监管项目主任，美国知名行政法学者。独著《实现卓越监管》(Achieving Regulatory Excellence, 2016)，合著《监管扼杀就业吗?》（Does Regulation Kill Jobs? 2013）(与Adam M. Finkel和Chris Carrigan合作)和编著《监管崩溃？美国监管的信心危机》(Regulatory Breakdown? The Crisis of Confidence in U.S. Regulation, 2012)。
译者
— 孟李冕 —
中国政法大学
宪法学与行政法学专业博士研究生
— 宋华琳 —
南开大学法学院教授、博士生导师
译文原载于
《湖湘法学评论》2022年第2期
摘要：算法规制，有助于行政机关做出更智能、更快速和更一致的决定，从而在在给社会带来更好结果的同时降低行政成本。算法规制的不同之处，源于机器学习的不透明性和相对自主性。同任何新型的政策或工具一样，算法规制也引发了一系列担忧，包括可问责性、平等、正当程序、隐私、透明度和权力滥用等。除上述挑战外，机器学习技术还需要面对其他限制，如价值的完整性和精确性。然而，对算法规制最严重的限制将非源自技术本身，而是来自使用这些工具的人。为负责任地使用算法，行政机关应当正视技术的风险和局限，以及在公共部门内培养部署算法工具的人力能力。
关键词：算法规制；机器学习；人力能力；行政法
一、导论
纵观历史，人类已经做出了治理社会的所有关键决定。但今天，新的算法工具开始出现，可以增强或取代人类的决定，来实现许多重要的治理功能。各国政府正逐步转向——或至少正在探寻——人工智能工具的应用，以寻找更有效和实施上更有效率的方式来维持社会秩序。[1]当下，显然可以将算法部署于数字系统中，使其有助于做出有关配置规制监督资源、实施执法处罚的决定，乃至第一时间在创设规则时发挥作用。
当政府官员以负责任的方式使用新算法工具时，有望在做出更智能、更快速和更一致决定方面，发挥相当大的优势，从而给社会带来更好的结果，并可能降低政府成本。然而，与任何新型的政策或工具一样，机器学习除带来收益之外，亦有相伴的成本。在本文中，我不仅强调了算法规制的潜在收益——即政府对机器学习工具的使用，还考虑了学者和积极人士对机器学习提出的一系列担忧，包括可问责性、平等、正当程序、隐私、透明度和权力滥用等。[2]尽管这些担忧是真实的，但我将表明，它们并不是机器学习技术本身的固有问题——相反，它们最终取决于人类决定如何设计和使用算法技术。负责任和公正的政府应该能够设计和监控算法系统，使其收益大于成本，并且不会践踏受保护的权利，从而足以避免算法规制的风险。
但是，即使算法规制不应面临许多学者和积极人士已提出的内在挑战，机器学习技术也需要面对其他限制。作为治理工具的机器学习，其最大制约或许在于，关于规制性算法需具备的特有精确度，人类无法就相应的权衡达成明确的社会共识。为了使机器学习算法发挥作用，它们在架构之初，就应有完好界定的、以数学方式表达的目标。因此，广泛依赖算法规制遭遇到的隐患，可能也是困扰基于绩效规制的隐患：[3]如机器学习一样，基于绩效的规制是一类以目标来界定的“算法”。此外，当人类集体的决定无法在规范价值及其权衡上产生足够精确度时，算法规制不太可能取代人类履行有重要影响的治理职能，来履行相应的任何任务。
最后，本文建议，对算法规制最严重的限制将非源自技术本身，而是来自寻求使用这些新工具的人类。这并不意味着政府一定要完全回避使用机器学习工具，来进行规制的研究和实验。但在对待算法规制的前景时，政府确实需要正视技术的风险和局限，同时，政府应该准备在公共部门内培养人力能力，这为政府负责任地使用算法所必需。
二、算法规制的前景
目前，私营部门日渐将机器学习算法用于更多用途，这包括互联网搜索、医疗筛查、自动驾驶、数字营销和贷款申请的处理。就其中的许多用途而言，算法在速度和准确性方面要胜过人类，这解释了为什么它们对政府日渐产生吸引力。这些优势也可以使机器学习算法在履行政府职能方面，具有相当的潜在价值。
为了解如何部署机器学习技术，来帮助执行目前由人类使用不太复杂的分析工具来进行的规制和其他治理任务，可考虑以下三种可能：
其一，美国联邦环境保护署（EPA）必须监督数以万计的工业设施，以确保它们遵守水污染法规。但环保署的检查人员数量有限。它可以通过随机抽签来决定检查员去检查哪些设施。或者相反地，它可以开发一种机器学习算法，预测哪些设施最有可能不符合规定，然后利用这些结果，来导引数量有限的检查员前往这些设施。相对随机方法而言，机器学习工具实际上可以让环保署查获六倍数量的违规者。[4]
其二，有关残疾人政府津贴支付的现行规则要求，由美国社会保障署的行政法官来决定特定申请人是否有资格获得该津贴。但存在的担忧是，在这个人为驱动的系统中，少数族群可能在津贴决定中处于相对不利地位。[5]无关族群，人类的决策是高度不一致的，有研究表明，社会保障署中有的行政法官发放津贴的可能性为90%，但有的行政法官的决定发放率只有10%。[6]负责津贴管理的部门已经开发了一个算法工具，以帮助审核决定的质量，[7]识别人类决策中可能的错误。算法系统的进一步使用，可能有助于简化和改善整个流程，这不仅可以清理积压的工作，还可以做出更为准确和一致的决定。
其三，大城市社会秩序的一个方面体现为交通管理。传统道路信号系统的设置是，按预定的时间间隔改变交通信号灯信号，或遵循人类工程师编制的简单规则。作为替代，人工智能系统可以根据道路中传感器提供的信息，做出自动化的决定，对道路规则加以实时调整。这些传感器可以将当前交通状况的信息反馈给机器学习算法，由该算法来自动操作交通信号，将交通拥堵降到最低。这种城市交通的算法排序不仅仅是一种思维实验。匹兹堡市已经安装了这样一个系统，据报道，该系统将居民的路途时间减少了25%。[8]
此类决定系统可以取代较慢的、不太准确的或不一致的人类判断，从而做出更智能、更快速的与治理相关的决定。
政府使用机器学习的其他例子，包括纽约和洛杉矶等大城市对警务人员和建筑检查员的分配和指派。[9]在宾夕法尼亚州，机器学习系统帮助县官员决定，就有限的社会服务人员而言，需要对哪些虐待儿童的投诉加以跟进。[10]对美国142个不同的联邦行政机构的研究发现，其中45%的行政机构至少启动了一个使用机器学习算法的项目，来试图改善行政机构的绩效。[11]这类项目的例子包括证券交易委员会使用机器学习，来识别可能的证券欺诈案件；以及美国国税局使用机器学习，来识别可能不完整或不准确的所得税申报。[12]随着时间推移，尤其随着机器学习在越来越多的其他应用中发挥更为显著的作用，更加被接受，美国和各国政府当局对人工智能的使用只会更多。
三、算法规制有何不同
任何人只要用过谷歌搜索，或者观察过亚马逊和网飞（Netflix）为用户自动推荐的准确性，都可以证明，机器学习算法可以进行高度准确的预测。尽管机器学习算法有不同类别，但与传统统计分析方法不同的是，学习型算法处理大量数据，并自动发现数据中的规律。技术人员仍然需要介入其中，来指定学习型算法的“目标功能”——即告诉算法要搜索和优化的内容。人们还必须明确要部署的机器学习算法类型，通常他们还必须介入算法的训练、调试和评估。但真正让机器学习算法有别于其他的，在于它们基本上可以在大量数据中自行漫游以寻找模式。它们基本上自行尝试不同的数据变量组合及其不同数学关系，寻求找到或“学习”到最佳的变量组合及其数学关系，以产生准确的预测。[13]
与传统的多元回归分析不同，机器学习并不依赖人来指定测试变量，来决定是否对这些变量应用特定的数学函数。所以，任何人都很难以清晰直观的方式，来辨别或解释这些算法如何生成预测的结果。因此，有时将机器学习算法称为“黑箱”工具。此外，尽管机器学习产出了高度准确的预测，但它通常不支持传统统计工具提供的因果论断。这意味着，尽管机器学习算法的用户可以相信该结果相当于准确的预测，但他们难以准确理解这些算法产生特定结果的原因。[14]
当政府使用算法工具来改善社会秩序时，特别当这些算法有可能取代由人导引的分析和决定时，机器学习算法的显著特征，即不透明性和相对自主性，引起了关切。对于许多公众而言，由人做出的政府决定似乎比机器人之治更为合法。以保持人仍然“处于环路中”（in the loop）的方式使用算法是一回事，例如，当算法只是指导检查人员或审计人员的配置，这些人员继而独立确定是否出现了欺诈或逃税。[15]人退居次要位置，即被完全“脱离环路”，则完全是另一回事。然而，我们日益趋向一个由机器人规制和算法裁决组成，让人类脱离环路的世界，完全可以将以前由人来驱动的治理趋向自动化。
当然，任何人如果意识到人的弱点，包括人存在的无数认知偏见和群体功能失调，都可以理解，如果将人从环路中移除，至少当经过良好校准、明显优越的数字机器可以取代他们的位置时，某些政府职能会变得更好。但至少对于重要决定而言，当政府使用算法工具时，公众的接受程度似乎充其量仍是充满犹疑。这种接受程度可能取决于人被排除于决策之外的程度及相应的后果，以及机器学习的用途。似乎很少有公众关注，多年来一直将机器学习算法用于与邮件分拣相关的决定。[16]类似的，就是否处罚纳税人或企业的关键决定而言，如果其仍然取决于审计人员或检查人员在个人审查中的发现，公众也可能相对不太关注，政府倚重算法来决定，去审计哪些纳税申报表，或将工作场所安全检查员派往何处。即使赋予算法以生成简化规则的权力，就像自动化的算法交通信号系统那样展开有效运作，似乎也不太可能引起公众的重要关切，因为所涉利害关系似乎相当轻。
但是，当涉及以算法系统来决定一个被告在监狱中的定罪刑期时，情况就完全不同了。即使法院使用的算法系统本质上还没有依靠机器学习，尽管法官个人仍然处在他们使用的传统算法环路之中，但倡议团体还是动员起来，来质疑法院系统中对算法的使用。[17]2016年，倡导组织ProPublica发布了一份广为流传的报告，批评了一个名为COMPAS，已被各州法院广泛用于刑事判决的风险评估工具。[18]据称，该工具尽管不依靠基于机器学习的算法，但依靠一种专有算法，来预测被告的再犯风险。法官只是得到了COMPAS工具对每个被告的风险评级，并允许在作出判决时将此因素考虑在内。不但ProPublica的报告广受媒体关注，而且后来在一个最终诉诸威斯康星州最高法院的案件中，COMPAS工具本身受到了法律质疑。在State v. Loomis案中，被告卢米斯（Loomis）对COMPAS就他给出的高风险分数提出质疑，并认为威斯康星州初审法官对该工具的依赖，剥夺了他获得公正审判的权利——这不仅因为COMPAS工具的精确源代码是专有的，因此是秘密的源代码，还因为该风险预测对男性有偏见。
威斯康星州最高法院驳回了卢米斯的主张，并支持了初审法官将COMPAS系统的风险评级结果纳入考量的决定。但Loomis诉讼不会是最后一次挑战政府对算法的依赖，特别当黑箱式机器学习系统把人排除在环路之外时，似乎特别容易受到基于各种理由的法律挑战，这包括来自可问责性、正当程序、平等保护、隐私、透明度和权力滥用的法律关切。然而，正如我已在他处加以更详细解释的那样，[19]只要政府官员在开发机器学习系统时加以合理注意，大多数法律挑战似乎都可能像Loomis案判决一样，以政府获胜而告终。
正如在本文以下五个部分阐明的，针对政府使用机器学习的主要批评，可能可以通过行政官员做出负责任的决定，来得以充分解决。尽管机器学习具有独特的“黑箱”特征，但它实际上并没有带来任何真正的全新挑战，也可证明，相较于其他被纳入政府使用的更为传统的技术而言，也不会在法律甚至道德层面引起更大的问题。毕竟，当传统的政府规制要求受规制主体（如食品加工者）将物品保持在特定温度时，政府依靠温度计来实现规制目标，几乎不会违反法律或道德规范。机器学习算法最终颇似温度计或任何其他机器，规制者和政府官员一直有赖于这些机器。这并非否定以下要讨论的关切，而是说这些关切不会给机器学习算法的使用造成任何内在的或不可克服的障碍。通过仔细规划和缜密的决策，政府应该能够负责任地部署算法工具，而不会在可问责性、正当程序、平等保护、隐私、透明度和权力滥用层面带来显著问题。
四、算法的可问责性
如前所述，机器学习的相对自主性，凸显了政府可问责性在算法规制世界中的意义。公民是否有权利期望由人来做出所有规制和其他政府决定？[20]直觉上，答案可能是肯定的。毕竟，问责通常要求可确证的政府官员或一组官员，来对政府制定的规则和采取的其他行动承担责任。对可问责性的渴望，既反映于政府组织内部的命令链条中，也反映于让选出的公职人员承担责任的民主过程中。但是，如果拥有制定规则和执行政策权力的政府官员将他们的权力直接转交给他人，他们就放弃了自己的责任，问责制就会瓦解。
在美国宪法中，对可问责性的渴望反映于“禁止授权原则”学说，该原则限制了美国国会将规则制定权授予规制机构的程度。普遍的理解是，允许国会授权这些行政机构来制定规则，但前提是授权法律规定了一个“可理解的原则”，来引导和约束行政机构行使制定规则的自主权。事实上，最高法院几乎认可了国会授出的每一项规则制定权，即便约束授权的原则如“公共利益、便利和必要性”之类的表述那样不易理解，也依然得到了支持。[21]
至少在这种可问责性观念下，由机器学习算法驱动的用以规制的机器人应该不会带来什么问责问题，因为如果算法要运行的话，它们需要数学上精确的“目标功能”。并不容许算法规制的随意游移和任意规制，算法规制应有显著的可问责性，因为人必须告诉算法要优化的目标。机器学习算法只在如何处理和分析数据，以实现明确设定的优化条件方面，具有自主性——这是一种数学上的必要性，将完全满足任何可问责性的可理解原则测试。
即使有了可理解原则，仍然有另一个担心政府可问责性的原因：即希望法律和政策为公共价值而非私人利益驱动。毕竟，在算法的背景之外，如果政府官员将责任转交给私人行为者，而私人行为者随后可能通过适用法律、采取政策行动，来促进自己的私人利益，并将更广泛的公共利益排除在外，这将令人不安。然而，即使在这种可问责性的观念下，算法规制可能也只带来最低限度的风险。毕竟，算法本身没有自己的独立利益；它们将按编程工作，按照设计进行预测。只要算法的设计者对公众充分负责，并且以符合公众利益的方式定义算法的目标功能，那么算法规制几乎没有腐败或利益冲突的风险。实际上，设计良好的算法系统甚至比人类系统更能抵御腐败和利益冲突。
五、算法黑箱和政府透明
令官员具有可问责性的常见方式是要求其公开处理公共事务，让所有人都能看到，并要求为他们的决定提供理由。有人说，阳光是最好的消毒剂。[22]依据这种对透明可问责性的理解，任何取代人类决策的“黑箱”数字工具都可能直接被怀疑。如果算法规制是秘密设计的，公众无法了解它们的用途或构建方式，那么这将构成一个严重的问题——对于任何非机器学习的算法工具而言，也是如此。但是，除了故意保密的系统外，对算法可解释性的担忧，不会为政府使用依据常规标准评判的机器学习，造成不可逾越的障碍。[23]
当然，机器学习确实不支持直观的因果推理，如“因为A导致B，规制A以削减问题B”。机器学习算法做出相关性预测，而不能产生能支持“A导致B”这种陈述的结果。但无法轻易直观地给出因果解释，并不一定会导致对机器学习的全盘否定。
首先，社会现在并不要求对任何事都能有完全的可解释性或完全透明。例如，尽管美国《信息自由法》要求公开许多政府信息，但该法仍然豁免公开许多政府信息，例如与执法、人事有关的信息或受商业秘密保护的信息。[24]在Loomis案中，被告主张，初审法官应就法官在判决中使用的算法，告知他更多细节，威斯康星州最高法院驳回了被告的主张，这不足为怪。法院不仅尊重根据与政府合同创设该算法的私人公司专有权，还认为程序性正当程序只要求，政府允许被告确认其被算法处理个人信息的准确性，而不允许被告获取该工具的完整底层源代码。
而且，尽管法官个人可能能够为特定决定给出有理有据的理由，但这并不意味着这是个案决定的真正理由。当涉及到由人决定的集体决策时，这作为在许多政府行政组织中占主导地位的决定，经济学家和组织理论家早就认识到，纵非不可能，也很难对集体决定给出明确的解释。例如，阿罗不可能性定理（Arrow’s Impossibility Theorem）告诉我们，当决定偏好有多个维度时，可能无法有效为集体决定给出任何稳定的解释。[25]
也许在未来，透明度规范会发生变化，以将其更严格地适用于机器学习工具。但如果没有这样的变化，政府官员可能只需宽泛描述如何架构算法、验证其性能，并证明其按预期工作，即可满足对算法规制解释的合理要求。[26]毕竟，这主要是对政府机构经常依赖的任何机器或仪器（如温度计）的期望。即使依然不清楚机器学习算法的复杂内部运作，但提供这种基本解释所需的信息应该是易得且可发布的。
最后，尽管相较于传统分析工具而言，机器学习算法是不透明的，但计算机科学家目前正努力发展技术，以提供更多关于它们如何运作的信息。[27]因此，无论今天对算法规制的可解释性存在何种合理担忧，随着技术的进步且日益更易理解，这些担忧都有望减少。
六、算法与程序公正
有推理的决定不仅提供了可问责性根据，还为公正决定程序提供了标志。公正程序的其他特征包括由中立决定者作出决定，以及受决定影响者在做出最终决定之前有机会提出意见。关于机器学习的任何内容都不排除公众意见的提供。恰恰相反，机器学习算法正被用于帮助美国联邦规制者，来处理就拟议规章提交的大量公众评论。[28]几乎不难想象，一个完全自动化的规则制定系统，能将对公众评论的机器学习分析同规则生成体系使用的其他相关数据相结合。[29] 此外，当涉及中立决定者时，我已经注意到，算法可能比决定者个人具有更高程度的中立性，决定者个人可能会带来诸多偏见，并产生不一致的结果。出于这些原因，算法规制似乎不一定会导致对程序公正的否定，它可能实际上提高公正性。
如考虑美国宪法之下关于程序公正的主流测试基准，只会强化这一结论。根据这一基准，对政府决定过程的判断，要考虑三个因素：第一，决定中涉及的私人利益；第二，决定过程的准确性；第三，该过程所需的成本和行政负担。[30]算法规制似乎很容易通过这三层次的平衡测试。当然，对算法决定工具而言，私人利益是外源性的，但对基准的其他两个因素而言，这样的算法工具应该是有利的。毕竟，算法系统的主要吸引力在于它能减少决定错误，降低行政成本。
尽管从公正角度看，很容易证明算法使用的正当性，但应指出，算法系统的开发和设计也会牵涉到程序公正。应赋予受影响的公众某些机会，就直接影响其利益的机器学习工具的设计，来进行审查，这似乎才符合公正的要求。因此，在开发整合性的设计选择时，应尽可能公开程序；当具有可行性时，应通过咨询委员会、公开听证会或公众评论期的设置，给公众和专家以参与的机会。例如，当波士顿市利用机器学习来拟议重新编制校车时刻表时，它为居民提供了许多参与的机会。[31]对于任何影响公众的算法系统来说，公众参与肯定是一个良好的做法。实际上，对许多政府来说，这种公众参与的机会已经代表了针对其他重要政策和管理决定的常规运作，因此不应因新系统将基于机器学习，就一定要采取特殊步骤。最后，程序公正不应对算法规制的发展带来任何明显或重要的障碍。
七、算法偏见
如何看待偏见？当然，人的决定已经反映出诸多偏见。其中一些代表了心理学家和行为经济学家广为记述的认知错误类型，如后视偏见（hindsight bias）或损失厌恶（loss aversion）。[32]其他则反映了基于种族、性别和其他个人特征的隐性或显性偏见。[33]从基于人的系统转向机器学习系统，提供了克服这些人类偏见的可能性。然而，如果算法系统不加思考地依赖于基于人类偏见建构的数据，机器学习也会进一步强化人类偏见的风险。除非出于某种原因，故意以有偏见的方式设计算法，否则偏见的来源是数据，而不是算法。用于训练和测试算法的基础数据（至少最初）将由人类生成，并将反映人类体系的偏见。
要揭示数据中的这种偏见，初视之，机器学习系统似乎与基于人类的决定同样具有挑战性。机器学习算法的自主性与黑箱性质意味着，即使系统使用的基础数据包括种族、性别或其他个人特征的变量，也并不明了算法的输出是否受到、如何受到这些数据的影响。即使将诸如种族和性别之类的特定变量数据排除于数据集之外，只要其余变量受到人类种族或性别偏见的影响，或与之相关，那么算法的输出仍可能受到种族或性别的影响。
当政府实体使用算法作为实现特定目标的工具时，如识别偷税漏税或确定获得财政津贴的资格时，算法将寻求基于该目标进行优化，而不是基于个人特征进行歧视。如果没有单独的证据表明算法系统的设计者或使用者有实际敌意，那么辨别是否发生了这种歧视既不容易，也不直截了当。当算法的输出对具有特定种族或其他个人特征的个体不利时，从单个实例中，并不易看出，对具有同样特征的整个群体而言，该算法是否总体上会产生不利的输出后果。即使可以审查更广泛群体的输出，可能也不易知道利益特征是否进入、如何进入算法的计算之内。
在美国最高法院判定政府基于种族的歧视违宪时，是由于政府在做出决定时，始终将种族分类作为有利于或不利于个人的因素。[34]当政府使用算法工具时，这种分类歧视将很少出现，因为算法处理的是不同变量的组合，来优化并非以种族来界定的目标功能。此外，即使可以证明一个算法会基于种族带来差异化影响，但对该算法的目标功能界定，是基于重要的政府目的时，法院很可能会得出结论，该算法促进了迫切的国家利益（compelling state interest），仍然可以证明继续使用此算法的正当性。
当然，即使法院有时确实以其他重要政府目标的名义，为算法偏见开脱，但这并不意味着某种偏见就应逃逸于公众的反对之外，就像目前在人类决定中，纵非普遍存在偏见，但偏见也持续弥漫于人类决定之中。实际上，这种不合理人类偏见的持续存在，就政府为什么考虑采用机器学习系统，给出了一个强有力的理由。即使这些系统确实有赖于有偏见的数据，当对数据进行统计分析时，可以更容易识别偏见，然后对算法进行数学调整，以削减偏见。[35]一些有前景的研究表明，这种调整纵然不能完全抵消，也能实质性地抵消现有数据集中包含的偏见，而不太牺牲算法输出的准确性。[36]最后，几乎可以肯定的是，调整算法以减少其输出偏见，比改造人类以减少决定中根深蒂固的隐性偏见影响更容易。
八、大数据与个人隐私
机器学习算法的运行基于海量数据即所谓大数据，它们在这些数据中寻找甚至连人类都无法辨别的规律。机器学习算法分析的一些数据将包含个人信息，或包含有关个人或企业的其他敏感信息，因此，这将带来与这些数据如何存储和使用相关的潜在隐私问题。如同本文讨论的其他价值一样，机器学习牵涉到的隐私问题并非这项技术所独有。保护机器学习中的隐私，涉及政府官员和分析师对任何类型统计分析所采取的相同步骤，这些分析都利用了个人或保密信息。
机器学习所可能面临的一个独特的隐私挑战，在于其准确预测的能力。通过机器学习，政府分析人员只需使用看似良性的、非敏感的数据源，就可以发现人们生活中的敏感或秘密方面。一个现在很著名的例子，私营部门能够对数据进行反向工程，以揭示个人信息，美国一家大型连锁百货公司曾利用女性顾客的购物数据，对哪些女性怀孕做出了令人不寒而栗的准确预测，然后利用这些预测向目标客户提供面向准妈妈的营销信息。[37]政府官员同样有可能利用算法的力量，来识别个人认为属于私密的特征，比如政治倾向或性取向，然后使用这些知识来歧视这些人。但同样，这种危害并非这种技术所固有的，而源自人们如何使用它。在与机器学习无关的许多国家，政府官员的歧视行为已经构成违法。
九、算法与权力滥用
迄今为止，我已经论证，只要政府负责任地设计和部署算法工具，它们的使用就可以很好地符合现行规范，这使得政府可以接受其他类型的统计工具或自动化系统。如果机器学习算法能够帮助政府做出更好、更快、更低成本的决定，那么它们就不太可能在问责、透明、程序公正及平等方面遇到无法克服的障碍。此外，如果在特定任务中，使用机器学习的益处具有正当性，或证明其收益超过了带来的不利因素，那么政府对这项技术的使用，似乎不仅是可以接受的，任何良好政府的标准都会积极推荐使用算法。
然而，尽管在负责任地使用算法规制时，有能带来绩效优势，但它也能更好地让不公正的政府从事压迫性或故意的有害行为。在一个重要意义上，机器学习有可能在整体上助长权力滥用，这可能会激起它受到的大部分批评。不可否认，不公正的政府可以利用算法工具来加强权力，以逃避责任，侵犯隐私，并歧视少数群体、政治对手或任何不受欢迎的群体。
围绕监控功能的一个特别担忧是，不公正的体制通常会有赖于这些功能，以及机器学习如何强化了这些功能。致力于监控公民一举一动的体制需要一种工具，以帮助了解来自电话、社交媒体和其他电子通信以及手机GPS信号的大量数据。[38]在此意义上，机器学习工具很可能被证明是专制者最好的朋友之一。
任何关心自由和人类繁荣的人，都正当地反对使用机器学习来促成或强化压迫。但在反对这种不公正使用的同时，仍然看到负责任地部署机器学习可以带来的价值。毕竟，任何治理工具在现实中都有滥用的可能。至少在法律实证主义者所使用的意义上，法律本身已经成为不公正体制手中的武器，而且还会持续下去。
即使机器学习在专制统治者手中可能成为类似的危险武器，但不意味着这是算法技术固有的危险。这是由政府中的人带来的另一种威胁，他们可以设计和使用此技术，来支持不公正和不合法的体制。因此，应当由人类的法律监督和民主问责体系，来确保占据政府权力职位的人不会滥用机器学习的力量。
机器学习需要独立审计员、立法者和法官的充分监督。在拥有足够健全行政法体系的国家，这种监督可能无需与其他治理工具有任何不同。但为了确保充分的监督，当政府开发新的机器学习系统，来记录目标、关键设计选择、基础数据源以及对这些所做的验证努力时，可能需要特别注意。[39]如果政府在构建、训练、调适或运营算法系统时，依赖于私人承包商，其还应确保在为拟定政府合同开展的采购程序中，公开此类重要信息——这是可以做到的，而且不会损害私人承包商保护基础性智力产品机密的合法主张。[40]
十、社会价值和算法规制的人类局限
正如人类最终决定机器学习是用于合法还是非法目的一样，就政府能在怎样的程度上利用机器学习，人类也最终提出了可能被证明是最重要的实际制约因素。为了使机器学习算法发挥作用，必须使用定义良好的目标功能来构建它们，这些目标功能准确地告诉每个算法要优化的内容，以及在不同价值间应进行何种权衡。这种技术必要性引发了两个实际问题，将会困扰寻求依靠将人排除于决策之外的算法系统的政府官员，并可能成为对其使用的最为实质性的限制。第一是价值完整性问题，第二则是价值精确性问题。
在价值完整性方面，问题在于识别任何政策决定或治理体系中涉及的所有紧要的价值，并达成一致。有些价值相应反映于政策或制度的主要目标之中，这些价值通常容易识别，但很难确定相关价值的完整范围。为了说明这个问题，请考虑一个大多数人可能同意的事实，即应以环境规制来保护人类健康。但在制定实际的环境标准时，是否还应考虑其他价值？环境标准是否应考虑合规成本和健康风险？如果要用算法来取代环境规制机构的官员，设计者就需要在算法的目标功能中整合所有相关的社会价值。
不幸的是，人类关于价值完整性的表现远非一流。几十年来所谓基于绩效的规制经验提供了一个又一个价值不完整的例子，当规制机构专注于单一目标，即关注它们试图解决的主要问题时，却忽视了其他重要问题。[41]例如，当美国消费者安全规制机构首次为药品和家用清洁剂的儿童防护包装制定标准时，其正确地将重点放在儿童因能够打开危险产品容器而中毒的问题上。虽然最初的标准确实防止了儿童打开药瓶和清洁剂容器，但也使得成年人不易打开。最终的结果是，设法打开药瓶和清洁容器的成年人通常会将这些容器保持打开状态，或者将它们转移到其他不防儿童使用的容器中。此时，儿童比之前更容易接触到这些危险产品。经过数年的时间，规制的优化方向才由一个维度转向两个维度，在规章中整合了包括包装防儿童拆开和令成人无障碍打开两个维度在内的标准。[42]
算法规制与基于绩效的规制有很多共通之处，因为两者都给出了明确的目标。大多数时候，即使人们专注于一个特定问题，他们实际上关心的也不只是一个目标。关心解决儿童中毒的问题，但也关心成年人如何打开包装的问题。关心环境保护，但也不想给小企业施加过多成本。关心防止银行破产，但也希望银行在向企业贷款时承担一些风险。其结果是，每当政府官员开发算法系统时，都需要关注多个有时是相互竞争的、利害攸关的价值，并确保这些价值被整合入系统设计之中。在算法系统开发的早期，通过提供充分的机会开展公共咨询，吸纳公众意见，政府官员可以将忽略一个或多个重要价值的可能性降至最低。
一旦政府官员确定了一套完整的价值，接下来需要应对的最大挑战可能是价值精确性。要倚重算法作为有效的规制工具，系统设计者必须以数学精度指定相关的价值选择和权衡，并将这些数学关系纳入算法的目标功能。例如，如果一个算法系统旨在为健康和安全保护设定标准，则需要准确地告知它，何种程度的安全才足够安全。系统还需要知道，在保护公众健康和避免对商业活动造成不必要的财政负担之间，如何开展精妙的平衡。但是，社会规划者和立法者常常无法提供这样的精确性，要么是因为个人本身无法将此具体化，要么因为就所需的精确程度而言，并不存在社会共识。
由于缺乏明确的答案，几个世纪以来，法律规则的设计者选择了“合理”、“可行”和“适当”等宽泛的术语。例如，《清洁水法》第304条第（b）（1）款规定，环境保护署应根据“目前可用的最佳可行控制技术”来制定某些水污染标准，该标准由环境保护署根据一个宽泛规定的多因素基准确定的，该基准包括了“环境保护署认为适当的所有其他因素”。[43]但“可行”或“适当”究竟意味着什么？
由于价值偏好的不确定性、混乱和分歧，法律经常依赖于空洞的术语。美国法律学者卡斯·桑斯坦（Cass Sunstein）用“未完全理论化合意（incompletely theorized agreements）”的概念，很好地捕捉到了价值精确性的挑战。[44]桑斯坦指出，即使人们能够就在特定情况下应该做什么达成一致，通常也无法就具体原因达成一致：
无论是由法官、立法者还是行政官员制定的……法律规则通常是不完全理论化的，因为它们可以为许多在一般问题上存在分歧的人所接受……。规则的一个关键社会功能是，在面对其他许多方面的分歧时，允许人们就法律条款的含义、权威甚至可靠性达成一致。对于法律文化中发现的其他手段，包括标准、因素和所强调的类比推理，可以说也是如此。实际上，法律人的所有常规工具都可以就特定结果达成未完全理论化合意，但很有趣，此间方式并不相同。[45]
然而，如果机器学习算法要取代法官、立法者和行政官员，成为规制决定的驱动者，它们确实需要精确性。
价值精确的一项重要任务将涉及权衡的明确。一旦确定了一套完整的、利益攸关的实体价值，问题将变为，应该为每一种价值赋予何种权重。也会出现一系列关于权衡的其他常见问题，例如，系统如何处理假阳性与假阴性问题。为了防止无辜的人领受刑期，应该允许多少有罪的人获得自由？类似还会出现的问题是，如果要确保算法尽可能减少对不同族群的差别待遇，就需要在预测准确性方面进行权衡：究竟应该牺牲多少预测的准确性，来换取多少平等保护？这些和其他类型的权衡将是算法规制的特有问题，它们将要求开发和设计机器学习治理工具的人对以上问题加以明确，至少不能对这些工具随机或恣意地赋予价值权重。如果人类无法就有关价值和权衡的关键问题提供答案，那么在能提供更明确答案之前，可能就不适于去依赖算法系统。
十一、建造部署算法工具的人类能力
现在应该很清楚，要开发有效的算法规制工具，政府不仅需要计算技术和对大型数据集的访问权限。政府还需要人力能力来负责任地设计这些工具，并对其进行评估，以确保其按预期工作。[46]这种人力能力是多方面、多学科的。
政府需要在数据分析方面有必要技能的人员。政府始终要面对，如何与私营部门争夺顶尖人才，但现在将要争夺拥有新型技能的人员。诚然，构建算法系统所需的一些技术工作可以由私人承包商完成，但对于政府在可解释性、正当程序或避免偏见方面的特定要求，承包商可能缺乏足够敏感度。政府机构仍然需要确保自身拥有以智能方式监督承包商所需的内部能力，而不只是确保系统的设计方式能够满足对政府实体的独特问责制和公平性要求。
政府也需要建立具有各种额外技能的算法规制团队。除了数据科学家和相关主题专家之外，政府机构还需要复兴算法规制的决定者。他们作为团队成员，可以仔细考虑算法系统旨在解决的治理问题，考虑利害攸关的价值和权衡，并考虑系统构建和运营时未尽注意义务时，可能出现的偏见、正当程序、透明度等问题。这些更高层次的体系思考者需要充分理解技术问题，以便在公众、政治领导人及数据分析师、系统开发者之间提供必要的转化桥梁。
政府还需要能够有效促进公众参与程序的专家，以确保感兴趣的公众成员和相关外部专家能就明确算法目标，包括算法中有哪些价值及其权重如何，以符合共同的社会期望，进行必要的参与。公众会对算法系统设计出的其他关键特征给出意见，设计师可从中获益。近年来对刑事法院在量刑中依赖风险管理工具的强烈反对，应该给政府所有部门的官员敲响警钟，让他们认识到在算法设计时，尽早真诚、富有同理心地寻求公众参与的价值所在。
政府还需要人们的专业知识来进行严格的小规模测试，以便为设计师提供系统全面实施后如何工作的额外反馈。[47]与此相关，一旦算法系统已付诸实施，应定期评估，以确保系统按预期运行，并在事实上改进了现状。[48]最初，可能有必要针对新系统与所代替的人类决定系统，开展某些并行测试。[49]随着时间推移，当以新系统对旧版本加以升级改造时，应进行类似的评估，以确保实现绩效提升。
最后，或许有点可笑，当政府探求建构数字系统，以有效将人排除于决策环路之外时，但为了确保这些体系成功，实际上需要在人力资本建设方面进行慎思明辨的投资。为了确保机器学习系统有效工作，并满足公正、透明、平等和可问责性的基准，将继续需要人来导引设计过程，并做出系统所依赖的关键规范性选择。[50]
十二、结语
随着人工智能工具继续在商业、医学以及政府中扩散，警钟将继续响起，提醒人们在一个日益被算法主宰的世界中，可能存在哪些危险。如果这些警示能让设计和使用机器学习算法的官员在设计和使用算法时更加慎重和谨慎，它们就可以发挥重要作用。最终，将由这些人来决定算法是否能够实现其全部承诺，即克服现有政府程序的缺陷。
算法规制的世界不一定是危险的，因为机器学习算法本身并没有内在危险。令人不安的事实是，危险源于设计和使用这些算法的人。就机器学习的核心而言，其与任何机器都非常相似。机器学习可用以为善，也可用以为恶；它的使用可以是漫不经心的或深思熟虑的。算法规制的未来给一个更智能、更公正、更一以贯之的政府带来了巨大前景。但政府能否实现这一承诺，最终依然取决于人类之手。
译者评述
本文首先展示了算法规制的广阔前景及特别之处。算法在速度和准确性方面有着卓越绩效，这有助于政府职能的良好履行。然而，算法规制的自主性和相对不透明性，引发了关切。其次，本文逐一反驳了针对算法规制的主要批评，包括可问责性、透明度、正当程序、平等保护、隐私和权力滥用方面。作者认为，这些问题可以通过行政官员负责任的决定加以解决。再次，机器学习使用的实质性限制，在于确保算法系统中价值的完整性和精确性。为确保价值的完整性和精确性，应在系统开发早期开展公共咨询，以及谨慎地赋予价值权重。最后，本文提出，行政机关需要多方面、多学科的人力能力，来负责任地设计和评估算法工具。例如，需要数据分析方面的专业人员、算法规制的体系思考者、促进公众参与的专业人员和组织小规模测试的专业人员。
本文勾勒了算法规制的法治轮廓，为我国算法规制建设提供了若干启示：其一，算法规制之路虽面临诸多挑战，如面对可问责性、透明度、正当程序、平等保护、隐私和权力滥用等方面的问题，但仍可以通过负责任设计算法加以解决。
其二，明确算法规制的边界。即，当关乎社会价值时，应谨慎适用算法规制。算法规制的目标价值设计，本质上就是社会价值在算法规制世界的延伸。关于价值的完整性和精确性，具化之难题由来已久。这一难题同样延伸到算法规制世界，仅能通过广泛地公众参与和谨慎考量加以改善。特别地，若二者未能得到合理确定前，应谨慎适用算法规制。
其三，重视“人”之要素，加大人才队伍的建设力度。为了算法能得以负责任地设计和正常运行，多学科的人力能力是不可或缺的。这些人力能力，不仅包括计算机技术方面，还包括总体规划、促进公众参与和运行测试等方面。此外，就人力能力的来源而言，政府应确保自身能力的建设，而不仅仅依靠外部的私人承包商。
刀剑无罪，若言罪之归属，应指向持刀剑者。作者始终强调的是，机器学习算法本身是没有危险的，危险源于设计和使用算法的人。工具无善恶，算法规制的美好前景能否实现，关键在于人类自身。
[1] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[2] Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York: Crown Press, 2016; Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: St. Martin's Press, 2017.
[3] Cary Coglianese, “The Limits of Performance-Based Regulation,” University of Michigan Journal of Law Reform Vol.50(2017), pp.525-563.
[4] Miyuki Hino, Elinor Benami & Nina Brooks, “Machine Learning for Environmental Monitoring,” Nature Sustainability Vol.1(2018), pp.583-588.
[5] Erin M. Godtland et al., “Racial Disparities in Federal Disability Benefits,” Contemporary Economic Policy Vol.25(2007), pp.27-45.
[6] Transactional Records Access Clearinghouse (TRAC), Social Security Awards Depend More on Judge than Facts, (4 July 2011), https://trac.syr.edu/tracreports/ssa/254/.
[7] Jeffrey Lubbers & Gerald K Ray, “A Government Success Story: How Data Analysis by the Social Security Appeals Council (with a Push from the Administrative Conference of the United States) is Transforming Social Security Disability Adjudication,” George Washington Law Review Vol.83(2015), pp.1575-1608.
[8] Jackie Snow, This AI Traffic System in Pittsburgh Has Reduced Travel Time by 25%, (20 July 2017), https://www.smartcitiesdive.com/news/this-ai-traffic-system-in-pittsburgh-has-reduced-travel-time-by-25/447494/.
[9] Cary Coglianese & Lavi M. Ben Dor, “AI in Adjudication and Administration,” Brooklyn Law Review Vol.86(2021), pp.791-838.
[10] Rhema Vaithianathan et al., Developing Predictive Risk Models to Support Child Maltreatment Hotline Screening Decisions, (16 May 2019), https://www.alleghenycountyanalytics.us/wp-content/uploads/2019/05/16-ACDHS-26_PredictiveRisk_Package_050119_FINAL-2.pdf.
[11] David F. Engstrom et al., Government by Algorithm: Artificial Intelligence in Federal Administrative Agencies, Administrative Conference of the United States(19 February 2020), https://www-cdn.law.stanford.edu/wp-content/uploads/2020/02/ACUS-AI-Report.pdf.
[12] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[13] David Lehr & Paul Ohm, “Playing with the Data: What Legal Scholars Should Learn about Machine Learning,” University of California Davis Law Review Vol.51(2017), pp.653-718.
[14] Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance,” Administrative Law Review Vol.71(2019), pp.1-56.
[15] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[16] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[17] Cary Coglianese & Lavi M. Ben Dor, “AI in Adjudication and Administration,” Brooklyn Law Review Vol.86(2021), pp.791-838.
[18] Julia Angwin et al., Machine Bias, ProPublica(23 May 2016), https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
[19] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223; Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance,” Administrative Law Review Vol.71(2019), pp.1-56.
[20] Aziz Z. Huq, “A Right to a Human Decision,” Virginia Law Review Vol.106(2020), pp.611-688.
[21] Stephen G. Breyer, Administrative Law and Regulatory Policy: Problems, Text, and Cases, New York: Wolters Kluwer Press, 2017, pp.50-84.
[22] Louis Dembitz Brandeis, Other People's Money, New York: Frederick A. Stokes Company, 1914.
[23] Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance,” Administrative Law Review Vol.71(2019), pp.1-56.
[24] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[25] Kenneth Joseph Arrow, Social Choice and Individual Values, New Haven: Yale University Press, 1963.
[26] Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance,” Administrative Law Review Vol.71(2019), pp.1-56.
[27] Michael Kearns & Aaron Roth, The Ethical Algorithm: The Science of Socially Aware Algorithm Design, Oxford: Oxford University Press, 2019.
[28] David F. Engstrom et al., Government by Algorithm: Artificial Intelligence in Federal Administrative Agencies, Administrative Conference of the United States(19 February 2020), https://www-cdn.law.stanford.edu/wp-content/uploads/2020/02/ACUS-AI-Report.pdf.
[29] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[30] Mathews v. Eldridge, 424 U.S. 319(1976).
[31] Ellen P. Goodman, The Challenge of Equitable Algorithmic Change, The Regulatory Review (11 February 2019), https://www.theregreview.org/wp-content/uploads/2019/02/Goodman-The-Challenge-of-Equitable-Algorithmic-Change.pdf.
[32] Daniel Kahneman, Thinking Fast and Slow, New York: Farrar, Straus and Giroux, 2011.
[33] Jennifer L. Eberhardt, Biased: Uncovering the Hidden Prejudice That Shapes What We See, Think, and Do, New York: Viking Press, 2019.
[34] Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the Machine-learning Era,” Georgetown Law Journal Vol.105(2017), pp.1147-1223.
[35] Alex P. Miller, Want Less-Biased Decisions? Use Algorithms, Harvard Business Review (26 July 2018), https://hbr.org/2018/07/want-less-biased-decisions-use-algorichms; Sendhil Mullainathan, Biased Algorithms Are Easier to Fix Than Biased People, New York Times (6 December 2019). https://www.nytimes.com/2019/12/06/business/algorithm-bias-fix.html.
[36] Richard Berk et al., “Fairness in Criminal Justice Risk Assessments: The State of the Art,” Sociological Methods & Research Vol.50(2018), pp.3-44.
[37] Charles Duhigg, How Companies Learn Your Secrets, New York Times (16 February 2012). https://www.nytimes.com/2012/02/19/magazine/shopping-habits.html.
[38] Viktor Mayer-Schönberger & Kenneth Cukier, Big Data: A Revolution that Will Transform How We Live, Work, and Think, London: John Murray Press, 2013.
[39] Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance,” Administrative Law Review Vol.71(2019), pp.1-56.
[40] Cary Coglianese & Erik Lampmann, “Contracting for Algorithmic Accountability,” Administrative Law Review Accord Vol.6(2021), pp.175-199.
[41] Cary Coglianese & Jennifer Nash, “The Law of the Test: Performance-Based Regulation and Diesel Emissions Control, ” Yale Journal on Regulation Vol.34(2017), pp.33-90.
[42] Cary Coglianese, “The Limits of Performance-Based Regulation,” University of Michigan Journal of Law Reform Vol.50(2017), pp.525-563.
[43] Learn about Effluent Guidelines, US Environmental Protection Agency(2020), https://www.epa.gov/eg/learn-about-effluent-guidelines.
[44] Cass R. Sunstein, “Incompletely Theorized Agreements,” Harvard Law Review Vol.108(1995), pp.1733-1772.
[45] Cass R. Sunstein, “Incompletely Theorized Agreements,” Harvard Law Review Vol.108(1995), pp.1733-1772.
[46] Cary Coglianese, “Optimizing Regulation for an Optimizing Economy,” University of Pennsylvania Journal of Law & Public Affairs Vol.4(2018), pp.1-14.
[47] Colleen V. Chien, “Rigorous Policy Pilots: Experimentation in the Administration of the Law,” Iowa Law Review Vol.104(2019), pp.2313-2350.
[48] Cary Coglianese, Evaluating the Performance of Regulation and Regulatory Policy, Organization for Economic Cooperation and Development(August 2012), https://www.oecd.org/gov/regulatory-policy/1_coglianese%20web.pdf.
[49] David F. Engstrom et al., Government by Algorithm: Artificial Intelligence in Federal Administrative Agencies, Administrative Conference of the United States(19 February 2020), https://www-cdn.law.stanford.edu/wp-content/uploads/2020/02/ACUS-AI-Report.pdf.
[50] Cary Coglianese, Regulatory Excellence as 'People Excellence', The Regulatory Review(23 October 2015), https://www.theregreview.org/2015/10/23/coglianese-people-excellence/.
附录
『规制与公法』之『域外采风』系列专题目录
欢迎关注