江溯：自动化决策、刑事司法与算法规制 ——由卢米斯案引发的思考

江溯  北京大学法学院副教授、博士生导师，北京大学法律人工智能实验室/研究中心副主任。

内容摘要

卢米斯案引发了算法规制问题的广泛讨论。多数学者认为，该案判决低估了算法的准确性、歧视性和透明度风险，高估了法官识别算法风险的能力。为了应对普遍的算法风险，GDPR引入了算法可解释性规则，但在解释论构造、正当性、可行性和有效性等方面均存在争议。尽管学界对算法规制的具体进路看法不一，但在算法透明原则方面达成了共识。我国应当采取立法、司法与行业自律并行的算法规制策略。立法者应当制定场景化的算法透明和责任规则。在司法领域，要明确算法决策仅具有辅助性地位，不能替代人类法官进行判案，并设计出更为精细的算法透明制度。此外，还应当鼓励行业内部协商制定伦理标准和技术标准。

关键词：自动化决策  算法规制  正当程序  刑事司法  算法透明  算法正义

引  言

近年来，人工智能成为引爆第四次工业革命的重要力量。我国作为人工智能发展迅速的国家，在政策上一直鼓励相关产业的发展，并希望以此为各行各业赋能，推动产业结构优化升级。人工智能作为新生事物，在改变社会生活面貌的同时，也为各个行业带来了新的风险。当新兴的人工智能与古老的法律行业相遇时，一系列新问题随之而生。一方面，越来越多的法律人开始思考如何将人工智能带来的算法权力关进法治的笼子里。无论是对人工智能主体性的展望，还是对自动驾驶、机器创作、智能投顾等具体应用场景的分析，都体现了人工智能对现有法律的挑战。另一方面，法律工作者开始拥抱人工智能技术，享受着算法带来的效率提升。类案推送、聚类检索等工具不仅成为法学院学生的学习利器，也帮助律师、检察官、法官和公司法务更好更快地完成工作。人工智能使实证研究者能够分析更大的样本量，使得输出的案例分析结论更加稳健，这种从大数据中析出法官集体智慧的技术，展现出广阔的应用前景。人们不禁畅想，算法能否进一步赋能法律行业？又会有哪些新的风险与之相伴而生？

在美国，算法与法律的结合早已在司法实践中得到应用。美国司法界鼓励在刑事司法程序中运用基于实证研究的风险评估工具。但是，在国家机器对个人的决策中使用算法时，算法固有的风险可能会进一步扩大，并威胁到个人的基本权利。2016年7月美国威斯康辛州终审判决的威斯康辛州诉卢米斯案（State v. Loomis）正是算法风险在刑事司法程序中的典型体现。该案被告人认为，法官依靠自动化决策结果对其量刑的行为，侵害了其正当程序权利。尽管终审法院经过审理后驳回了他的上诉理由，但学界对该判决结论的反对声音不绝于耳。卢米斯案及其相关论争反映了算法风险与程序正义的复杂问题。对于正在发展司法人工智能的我国而言，这同样是值得深入思考的问题。笔者拟对该案的背景、事实及判决意见进行梳理，然后对相关学术批评进行归纳，继而对算法规制的既有办法及争议进行介绍，最后为我国的算法规制策略以及算法在司法程序中的应然地位提出建议。

//一、卢米斯案的始末//

（一）案件背景

伴随着人工智能第三次浪潮的崛起，算法发挥着越来越重要的作用。算法可以利用海量数据对人类行为模式进行预测，从而帮助决策者判断风险。算法的这种预测功能，在某种程度上与刑法的特殊预防功能相契合。例如，人们可以通过算法对罪犯的累犯风险进行评测，从而决定量刑问题。在美国，司法界已经开始将算法纳入刑事司法政策的尝试。

2007年，美国首席大法官会议通过了一项题为“支持促进公共安全和减少累犯的量刑实践”的决议，强调法官“发挥重要作用，确保刑事司法系统有效运转，通过减少累犯和追究罪犯责任来有效保护公众”。该会议致力于“支持各州根据有最佳研究证据证明能够有效减少累犯的实践，努力采取量刑、惩治的政策与计划”。同样，美国律师协会也敦促各州采用风险评估工具，以减少累犯和提高公共安全。它强调了对关押低风险个人的关切，并警告称，将低风险罪犯与中高风险罪犯安置在一起，可能会增加而不是降低再次犯罪的风险。这种接触可能导致来自高风险罪犯的负面影响，实际上有害于个人在改过自新方面的努力。最初，风险评估工具仅由缓刑和假释部门使用，功能是帮助确定对罪犯的最佳监督和处理策略。随着美国国内对减少累犯以及循证（evidence-based）的日益关注，此类工具的使用现已扩展到量刑领域。然而，在量刑中使用这些工具更为复杂，因为量刑决定具有多元目标，其中只有部分目标与减少累犯有关。

算法在帮助法官裁判的同时，也反映出许多问题。人们注意到，算法在很多时候对个人产生了实质性影响，但其自动化的决策过程却并不是公开的，它也不接受质询、不提供解释和救济。相对人无从知晓决策的原因，更无法要求撤销或修正自动化决策的结果。即使自动化决策侵害了相对人的利益，相对人也无法要求算法开发者或使用者承担相应的责任。这种状态也被学者称为“算法暴政”。而当刑事司法程序借助算法进行裁判时，这种“算法暴政”会直接涉及人的生命、自由等基本权利，从而彰显出更为强烈的权利冲突状态。卢米斯案正是反映了在这种情况下算法所引发的典型问题，因而成为近年来备受关注的一个案例。

（二）基本事实

2013年，威斯康辛州以五项罪名指控埃里克·卢米斯（Eric Loomis）与拉克罗斯（La Crosse）驾车射击案有关。卢米斯否认其参与了射击行为，但承认他在当晚晚些时候驾驶了涉案汽车。卢米斯承认了其中两项较轻的罪名——“企图逃避交通官员罪、未经车主同意而驾驶汽车罪”。在做量刑准备时，一名威斯康辛州惩教署官员制作了量刑前调查报告，其中包括COMPAS风险评估工具。COMPAS风险评估工具基于对被告的访谈以及从被告犯罪史中获取的信息，对被告的累犯风险进行评估。由于COMPAS背后的评估方法属于商业秘密，因此其仅向法院提交了累犯风险的评估数值。在卢米斯的量刑庭审中，初审法院在量刑判决中参考了COMPAS评估结果，并部分基于此项评估结果，判处卢米斯六年有期徒刑和五年社区监督（extended supervision）。

卢米斯向初审法院提出了减轻刑罚的请求，认为法院对COMPAS的依赖侵犯了他的正当程序权利。主要的理由是：1.因为COMPAS报告仅提供与特定群体相关的数据，并且由于用于制作报告的方法是商业秘密，所以卢米斯认为，法院对COMPAS评估的使用侵犯了他基于精确信息被量刑的权利；2.基于前述两个原因，法院也同时侵犯了他获得个性化判决的权利；3.卢米斯还根据正当程序理由辩称，法院通过依赖一项将性别纳入考量因素的风险评估工具，在判决时对性别问题的考虑构成违宪。但初审法院驳回了卢米斯在量刑程序中的这项请求，威斯康辛州上诉法院将上诉移交给威斯康辛州最高法院。

（三）裁判结论及其论证理由

威斯康辛州最高法院最终维持了原判。为法庭撰写判决书的安·沃尔什·布拉德利法官（Ann Walsh Bradley）否决了卢米斯的正当程序主张。布拉德利法官认为，在风险评估中使用性别作为一项因素，是基于促进精确性的非歧视目的，卢米斯没有提供充分证据说明审理法院实际上考虑了性别。此外，由于COMPAS仅使用能公开获得的数据以及被告人提供的数据，法院认为，卢米斯可以对制作该报告的任何信息作出否认或解释，从而验证裁判中所使用信息的准确性。在个性化判决方面，布拉德利法官强调了个性化量刑的重要性，并承认COMPAS仅提供与被告相似群体的累犯风险聚类数据（aggregate data）。但她解释说，由于该报告并非判决的唯一依据，法院拥有必要的自由裁量权和信息，以否定不适当的评估，所以将COMPAS评估纳入考虑的量刑仍然具有充分的个性化。

然而，布拉德利法官也补充说，法官在使用此类风险评估时必须谨慎行事。为确保法官适当权衡风险评估，法院的命令包括：这些评估必须以何种方式提交给审判法院，以及法官可以在多大程度上使用它们。法院解释说，风险评分不能用于“确定罪犯是否被监禁”或“确定刑罚的轻重”。因此，使用风险评估的法官必须说明评估以外的其他支持判刑的因素。此外，包括COMPAS评估在内的PSI必须向法官提供五项书面警告：第一，“COMPAS的专有性质”会阻碍对如何计算风险分数的披露；第二，COMPAS分数无法识别特定的高危险个体，因为这些分数依赖于群体数据；第三，尽管COMPAS依赖于国家数据样本，但“没有针对威斯康辛州人口的交叉验证研究”；第四，研究提出了以下问题：COMPAS分数是否不成比例地将少数群体罪犯认定为具有更高累犯风险；第五，COMPAS是专门为协助惩教署作出量刑后判决（post-sentencing determinations）而开发的。在发出这些警告时，法院明确表示希望向人们灌输对该工具准确性的普遍怀疑，以及在该工具评估少数群体罪犯风险方面更具针对性的怀疑。

亚伯拉罕逊法官表示同意。虽然她同意判决，但她担心法院难以理解算法风险评估。特别是，她批评法院的决定否认了开发COMPAS的公司Northpointe提交法庭之友摘要（file an amicus brief）的机会。她本应要求量刑法院提供更广泛的记录，以说明“实证工具所促成的个性化判决的优点、缺点和相关性”。她认为，鉴于有批评者认为这些评估来自政府官员和学者，前述解释是有必要的。

//二、卢米斯案引发的算法风险争议//

卢米斯案判决认为COMPAS的使用并不损害被告的正当程序权利。但是，许多研究者都指出，法院没有成功地保护卢米斯的正当程序权利，因为法院忽视了风险评估算法的如下风险。

（一）关于风险评估算法的准确性风险

有评论指出，在量刑程序中对COMPAS的使用侵犯了被告的正当程序权利，因为法院存在着对算法技术准确性的错误假设。无论是理论上还是实践中都存在着对风险评估算法准确性的质疑。

首先，有研究发现，COMPAS的评估并不像法院所认为的那样准确。ProPublica作出的评估显示，该算法评分在预测罪犯累犯概率方面的正确率达到61％，但在预测暴力累犯率方面的正确率只有20%。它还发现“该算法在预测黑人和白人被告累犯概率方面的正确率大致相同（白人被告为59％，黑人被告为63％），但是预测失误的方式却大不相同。在为期两年的后续随访期内，该算法对白人和黑人被告进行的分类方式是不同的”。

其次，由于缺乏外部监督，开发者可能为了自身商业利益而忽略算法的准确性。为了促进风险评估算法的准确性，需要不断向其训练数据库增添新的数据，因而也需要持续监督，但目前由于算法受到商业秘密保护，只有开发商有权监督。但问题是，开发商的利益并不总是与社会利益一致，业务逻辑并不总是与对科学准确性的需求一致。例如，如果风险评估算法高估了罪犯的累犯风险而要求对其采取措施，这种错误通常很难被发现，即使被发现也不会给公司造成社会丑闻；但如果该算法低估了罪犯的累犯风险而建议将其释放，一旦罪犯再次实施了暴力犯罪，开发者可能会面临强烈的批评，公司的商业形象和商业利益也会受损。因此，开发者可能会在预防后一种错误方面付出更多成本，而可能忽略了前一种错误。

最后，开发者可能为了消除政治或道德风险，在算法中故意排除统计学意义上的重要因素，从而降低算法准确性。例如，尽管有些自变量（例如种族、性别、少数族裔地位等）已经显示出与人口中的暴力行为有统计学意义上的相关关系，但乍看之下，如果将这些因素纳入风险评估算法可能是令人不快的。实践中，已经有开发者在算法中排除了这些重要的统计变量，就政策制定而言这些变量被认为是“有问题的”。例如，弗吉尼亚州官员开发的风险评估工具故意将种族排除在规定变量之外，尽管这样做违反了基本的统计需求。又如，联邦系统定罪后风险工具的开发者故意将性别排除在算法之外，“尽管他们的原始回归模型发现，女性在作为累犯的阴性预测指标方面具有统计学上的显著性”。

（二）关于风险评估算法的歧视性风险

算法引发的歧视性问题在实践中屡见不鲜，在线招聘、词汇关联、在线广告等场景中的算法都曾被曝光出存在性别歧视或种族歧视的现象。有人质疑，在卢米斯案中涉及的COMPAS算法同样存在种族偏见问题。ProPublica发现，与同样有可能再次犯罪的白人相比，非裔美国人更有可能被给予较高的分数，从而导致等待审判期间的羁押时间更长。该算法开发商Northpointe驳斥了这一看法，称这是因为ProPublica使用了错误的指标对算法的公平性进行评估，如果是在给予相同分数的被告人群体中，非裔美国人和白人计算出的累犯概率是一样的。

有分析指出，导致算法偏见的原因包括：1.既有的人类偏见：人类已有的对某些群体的偏见是普遍的，也是深层次的，这可能导致这些偏见在计算机模型中被复制和放大。如果非裔美国人更可能因为历史上的种族主义、警察实践中的不公或者刑事司法系统中的不平等问题而被逮捕和羁押，那么这些事实也会反映在COMPAS算法的训练数据中，并且用于为是否应当羁押被告提供建议。如果将既有的偏见纳入模型，它将作出与人类相同的错误判断。2.采用了不完全的或不具有代表性的训练数据：训练数据不足是造成算法偏差的另一个原因。如果用于训练算法的数据相比其他群体更能代表某些群体，则该模型在预测这些代表性缺失或不足的群体方面可能呈现出系统性的劣势。反之，如果算法具有针对某一群体的过多数据，则可能会使决策偏向特定结果。乔治城法学院的研究人员发现，执法部门使用的面部识别网络中约有1.17亿美国成年人，但非裔美国人更容易被识别的主要原因是，他们在面部照片数据库中的代表数据过多，因而非裔美国人的面孔更有可能被错误地匹配，从而产生了偏见。

但是，从技术角度看，设置何种偏见检测策略也存在一定困难。从COMPAS算法偏见风险的争论来看，单纯地看误差率未必是检测偏见的好办法。Northpointe和ProPublica聚焦于不同条件下的误差率，就得出了不同的结论。因而需要建立起一定的公平原则，来确认在何种条件下的误差率应当是相等的。

对此，布鲁金斯学会的一份报告认为，权衡的重点应该放在评估“公平”的社会观念和可能的社会成本上。在对COMPAS算法的研究中，有学者看到了“在最大程度地减少暴力犯罪与满足公平的普遍观念之间的内在矛盾”，认为如果为了优化公共安全倾向于惩罚有色人种，可能会导致释放更多高风险被告，这将对公共安全产生不利影响。这也可能会不成比例地影响到非裔美国人和白人社区，从而产生公平成本。对此，算法开发人员应首先寻找在不牺牲模型整体性能的情况下减少组之间差异的方法，并且建立相关的道德框架。

（三）关于风险评估算法的透明度风险

法律界在论及算法风险时，一个常见的担忧就是透明性问题。在卢米斯案件中，卢米斯上诉的理由之一也是算法的保密特性。而法院认为，如果算法开发者或使用者向法院提交了书面警示事项，则可以缓和透明度造成的紧张关系；同时，卢米斯也可以通过验证COMPAS报告中列出的问答是否正确来质疑自己的风险评分。但是，许多研究都认为法院在处理算法透明度方面的努力远远不够，它未能解决算法的“法律黑箱”和“技术黑箱”问题。

有研究指出，COMPAS和类似的风险评估系统实际上包括“数据输入”“处理和计算”以及“预测输出”等一系列步骤。其中，“处理和计算”涉及最关键的问题，即如何解释数据以及如何基于这种解释输出预测结果。但是，法院在判决书中只讨论了被告是否可以质疑其犯罪记录和调查表答案的准确性（“数据输入”），而没有关注他是否可以挑战关键的“处理和计算”阶段。因而，该判决没有审查可能会对社会造成巨大影响的自动化决策，没有发挥出司法机构作为保护个人权利和提供有效救济措施的最终看门人作用，卢米斯本人也因此丧失了辩驳、补充和解释的权利。

一方面，COMPAS等风险评估算法存在着“法律黑箱”。不透明性源于统计模型或源代码的专有性特征，而这种特征是受到商业秘密相关法律保护的。有研究认为，可以通过修改法律解决“法律黑箱”问题，具体有以下选择：一是在特定条件下向公众开放这些统计模型或源代码，以保证透明度和可问责性，但这可能会遭遇来自开发商的反对；二是要求以保密的方式向特定的有关方或专家委员会披露。

另一方面，如果风险评估算法使用了机器学习和深度学习技术，则会面对更为棘手的“技术黑箱”问题。在这些场景中，算法规则会自动产生决策结果，甚至程序员也无法充分解释算法为什么会产生这个结果以及算法是如何作出这些决策的。这种问题在人工神经网络算法（ANN）中最为明显。这种算法是对人脑的模仿，包含各种神经元（即相互连接的处理器）。不同于专家系统（基于对分层规则、变量和常量的集合，应用于给定问题以尝试确定解决方案），它是一种代表性学习，不需要太多的人为干预。ANN的学习算法不是事先编程的，而是通过分层结构来学习不同信息和模式之间的关系，并开发自己的决策规则，这些规则通常是人类所无法理解的。尽管ANN减少了编程的工作量，也提高了算法的准确性，但这是以“人类能够实质性地解释发生在每一层中的推理能力”为代价的。对此，有研究建议，应当让被告或者那些可能需要自动化决策的人获得事前的知情权和自主选择权，他们应该在事前被充分告知这些自动化决策工具的潜在风险、好处以及以这种技术方式进行预测的局限，从而决定是否使用或退出自动化决策。

此外，也有研究建议，应当向被告提供可解释的算法，包括可以访问其源代码。只有开源算法才能在充分尊重科学准确性的同时充分保护被告的权利。因而，尽管使用开源算法可能不太符合开发商的利益，但美国司法系统应当提倡使用开源算法，以促进算法透明性。

（四）关于法官能否识别算法风险的风险

在卢米斯案的判决书中，法院建议法官应当谨慎地使用风险评估算法工具。但有评论指出，该案给出的建议（即要求PSI提交书面警告）无法帮助法官作出更好的评估。

首先，仅仅鼓励司法者对风险评估工具持怀疑立场，并不能告知法官应该在多大程度上怀疑风险评估结果，也有可能让法官过分地贬低这些风险评估结果的价值。

其次，即使这些书面警告增加了法官的怀疑态度，法官也可能缺乏必要信息来调整他们对此类工具的评估，大多数法官不太可能理解风险评估算法，其背后的方法论也因其商业秘密属性而不会得到公开。

最后，由于司法系统面对着使用风险评估的内部和外部压力，也存在着支持数据依赖的认知偏好，这些书面警告可能不会改变法官对风险评估的思考方式。《模范刑法典》认可了基于证据的量刑，一些学者和司法机关鼓励使用算法风险评估。许多州正在认真考虑在量刑中考虑累犯风险数据。实际上，一些州已经在量刑程序中要求使用风险评估工具。伊利诺伊大学芝加哥分校心理学教授琳达·J·锡特卡指出：“大多数人会走需要最少努力的认知之路，而不是系统地分析每个决策。他们会使用经验法则或启发式决策法则……自动化的决策辅助工具可以充当这些启发式决策方法，并且可以替代更能保持警惕的监视或决策系统。”如果算法决策工具被视作权威，人们很难拒绝诉诸权威的思维方式。

因而，有评论认为，判决书目前给出的建议无法应对前述弊端，应当采取更严格的措施，例如，排除对算法保密的风险评估工具，或者在更多研究可用之前限制其使用等。

//三、进一步的讨论：算法的可解释性及责任机制//

卢米斯案反映出来的问题实际上是算法自动化决策问题在刑事司法领域的具体体现。如何应对算法的歧视性、透明度、可问责性等问题，实际上已经成为信息社会中一切自动化决策工具的共性问题。卢米斯所疾呼的正当程序规则不仅在本案中受到算法的挑战，也成为一切自动化决策场合的侵蚀对象。算法权力在商业领域形成与消费者的不公平交易，催生了监视资本主义；在公权力领域，嵌入公权力运行的各个环节，甚至成为独立的决策者，严重挑战正当程序和权力专属原则。对此，各界一直在讨论如何对算法进行规制，在各种声音中，《通用数据保护条例》（GDPR）所规定的算法可解释性和责任体系广受瞩目，也引发了大面积的讨论。

（一）GDPR文本之解读：可解释性是否等于获解释权

GDPR第13-15条对算法的可解释性提出了要求，规定数据主体有权知晓包括用户画像在内的自动化决策中“对于相关逻辑、包括此类处理对于数据主体的预期后果的有效信息”。第22条规定了数据主体有权对自动化的个人决策加以反对、表达观点与异议。序言第71条规定明确提出了解释权，表述为接受自动决策的人应该享有适当的保护，具体应包括数据主体的特别信息和获得人类干预，表达自己的观点，并且有权获得该评估决定的解释，并对决定提出质疑。GDPR的上述规则构建了以算法可解释性为中心的规制体系。

但是，学者们对GDPR是否规定了“获解释权”存在着不同意见。布莱斯·古德曼和塞斯·R·弗拉克斯曼认为，GDPR序言第71条佐证了GDPR对“获解释权”的创设，但GDPR序言没有法律约束力，从解释论上可从GDPR第13-14条中引申出“获解释权”。桑德拉·沃克特（Sandra Wachter）等则认为，特定决策的事前解释是不可能的，而GDPR正文并未规定特定决策的事后解释。从文义上看GDPR第13-15条的规定仅限于数据搜集和处理阶段，属于事前告知而非事后解释，并且规定的仅仅是“被告知的权利（the right to be informed）”而非“获解释权”。“承受自动化决策”阶段的“获解释权”只可能从第22条笼统规定的“保障措施（measures to safeguard）”中引申出来。因此，在GDPR目前的体系语境下，证成“获解释权”是比较困难的，不能从实质上解决“算法透明性和可解释性”问题。

综合来看，GDPR是否创设了数据主体的“获解释权”在解释论上存在争议，但GDPR至少要求算法具有可解释性，这也是基于GDPR文本进行讨论的起点。

（二）算法可解释性规则的正当性

在GDPR确立的算法可解释性规则的正当性方面，学者们也存在着不同看法。有相当一部分学者指出了该规则的合理性。汤姆·贝克和本尼迪克特·德拉特认为公众不能预设智能投顾机器人没有人类所具有的不纯动机，正是因为智能金融算法存在歧视和黑箱现象，所以才需要算法的透明性或解释性机制。多西·韦莱兹等认为算法透明性和可解释性是解决算法可归责性的重要工具。明确算法决策的主体性、因果性或相关性，是确定和分配算法责任的前提。

但是，也有人对此表示反对，指出可解释性规则存在种种弊端：要求公司人工审查重要的算法决策增加了AI的整体成本、知情权可能导致降低AI的准确性。在计算机科学领域，有学者提出，让一个系统更透明或者更少偏见会降低它整体上的准确性。

（三）算法可解释性规则的可行性和有效性

在GDPR确立的算法可解释性规则的可行性和有效性方面，也有学者提出了质疑。莉莲·爱德华兹和迈克尔·韦尔认为，GDPR中规定的“解释权”采用了一种高度限制和不清晰的形式，很难真正实现对算法的控制，在现有技术条件下，主体中心解释（subject-centric explanations, SCEs）比模型中心解释路径（model-centric explanations, MCEs）更有利于数据主体寻求救济。但是，透明性并不必然保证实质正义或者有效救济的实现。他建议人们要警惕新的“透明度谬论”，更重要的是从GDPR以下两个层次缓解算法控制的危害，即“被遗忘权和可携带权”以及“隐私设计和数据保护影响评估等”。

保罗·德·拉特指出，一方面，算法的不透明性是固有的，人工智能本身有自主学习的过程，后期输出的结果可能和设计者的理念不相符。如果在神经网络中插入一个中间层，可以通过加权平均计算来显示所有结果的权重，但没法解释所有输入变量最终的贡献；另一方面，出于隐私的考虑，将数据库免费提供给大众，是不明智的。这也会导致相关方的博弈，导致不效率。出于知识产权的原因，也应该交给权威的监管部门来管理。

桑德拉·沃克特等认为，解释权规则存在诸多法律和技术上障碍：首先，GDPR中不存在具有法律约束力的解释权。其次，即使具有法律约束力，该权利也只适用于有限的情况。第三，解释复杂的算法决策系统的功能及其在特定情况下的基本原理在技术上具有挑战性。解释可能仅对数据主体提供很少的有意义信息。最后，数据控制者有权不共享算法，以避免泄露商业机密、侵犯他人的权利和自由（例如隐私）。他主张应当超越GDPR的限制，对数据控制者施加“无条件反射事实解释”以作为一种克服当下算法解释和问责挑战的一种新型解释类型。其可以平衡数据主体和控制者之间的关系，保护数据主体的信息安全。反射事实解释不仅避免了对复杂专业的算法进行全面地公开，而且可以通过建模计算得出，便于数据主体理解自动化决策、对决策进行抗辩以及改变未来的做法来达到预期目的。

（四）关于算法透明化与责任体系的其他构想

在GDPR之外，学者们建议采取各种方式来建立算法透明化与责任体系，以应对“算法黑箱”带来的问题。杰克·M·巴尔金反驳了“侏儒谬论”，指出算法社会的真正敌人不是算法而是人。他构建了一套算法公平治理体系，指出透明度、解释性、正当程序、负责任等要求都能从中推演出来。该体系的三大法则是：对于客户、消费者和终端用户，算法使用者是信息受托人；对于非客户、消费者和终端用户，算法使用者负有公共责任。如果算法使用者是政府，公共责任的界定应遵照其作为政府的性质；如果算法使用者是私人，则要受公共利益规则影响；算法使用者的核心公共责任是避免将他们操作的成本（损害）外部化。对于算法决策损害的最佳类比不是故意歧视，而是社会不公的污染。约书亚·A·克罗尔等指出，通过设计事前机制和事后机制，算法依然可以对第三人和公众负责。更重要的是要促进计算机科学家和法律政策制定者之间的跨学科合作，特别是要减少法律的模糊性，使得计算机科学家更能够适应外部监督机制。

在我国，大部分学者都看到了“算法黑箱”带来的歧视、交易地位不平等、救济缺位等问题，并主张在我国引入GDPR的解释权。但也有学者指出，算法的可解释性只是一种有益探索，并不是有效手段。例如，林洹民认为，算法解释权适用范围有限，我国应当设立以数据活动顾问为主、数据活动监管局为辅的二元算法监管机制：数据活动顾问从企业内部对算法的设计、使用和评估进行陪同控制；数据活动监管局则从外部对数据活动顾问提供必要的援助和监督。沈伟伟认为，算法透明原则不具备可行性和必要性，应当看到这种本质主义立场的弊端，建立以实用主义为导向、以算法问责为代表的事后规制。

//四、卢米斯案对我国算法规制之启示//

我国是人工智能发展十分迅速的国家，近年来发展人工智能不断写入国家战略，顶层设计要求运用人工智能为司法赋能，建设智慧法庭。例如，国务院《新一代人工智能发展规划》（国发〔2017〕35号）要求“建设集审判、人员、数据应用、司法公开和动态监控于一体的智慧法庭数据平台，促进人工智能在证据收集、案例分析、法律文件阅读与分析中的应用，实现法院审判体系和审判能力智能化”。最高人民法院办公厅《关于做好2019年智慧法院建设工作的通知》（法办〔2019〕243号）要求各级法院“以智能化为重点，大力推进智审、智执、智服、智管，全面加强智慧法院建设”。最高人民法院《关于认真学习贯彻党的十九届四中全会精神的通知》（法〔2019〕244号）提出，“要积极推进互联网、人工智能、大数据、云计算、区块链、5G等现代科技在司法领域深度应用，努力把智慧法院建设提升到新水平”。卢米斯案及其引发的争议，对于我国智慧法院的建设具有重要参考意义。我们必须明确，如何避免算法透明度、歧视性、准确性等风险对正当程序的侵蚀，如何让算法扬长避短，真正引领司法实践的现代化与科技化。

（一）立法：确立场景化的算法透明和责任规则

卢米斯案暴露的问题对整个算法社会都具有普适性，必须通过立法建立起一整套规则体系才能加以系统解决。这是一个立法论的问题，而不是解释论的问题。在笔者看来，在诸多算法风险中，最为关键的仍然是算法透明度问题。只有保证算法的透明度，或者至少是一定程度上的透明度，才能够使得算法的歧视性、准确性等问题得以被发现，也才能使得各利益相关方得以发现自己权益被侵害的事实，并提出相应的权利主张。

目前，大多数意见都要求法律以某种方式保证算法的透明度。尽管有学者认为算法透明原则作为事前规制存在种种弊端，但在笔者看来，这并不足以阻碍算法透明原则的重要地位。第一，算法透明原则并不仅仅是一种事前规制，更是一种全过程的规制手段。如果算法本身不透明，那么人们将很难发现算法中蕴藏着的不公平，更难以在维权时取证，事后规制的基础将不复存在。第二，算法透明原则在具体落实时必然会呈现出光谱式的面貌，既有的研究仅仅根据国家安全、社会秩序等宏观价值设想出机场安检、导弹试射等极端的场景，这些例子只能提醒我们要在特定场景下设置例外，并不能够全面推翻算法透明原则。第三，既有研究指出隐私、商业秘密等私主体权利会阻碍算法透明，但法律对私权利的保护从来都不是绝对的，即使是GDPR这样重视私权利保护的法令也规定了个人数据保护的例外条款。第四，算法透明原则所要求的透明性具有多元化特征，透明性未必等于向全社会公开，而可能仅向利益相关方公开，相比于直接推翻这项原则，不如设计更加精细的具体规则。第五，即使算法透明不等于算法可知，但算法不透明必然等于算法不可知。即使算法公开无助于普通大众的理解，神经网络等技术也可能导致程序员无法理解算法内涵，但是算法透明至少为理解算法提供了一种可能。并且，伴随着技术进步，目前计算机科学界也正在开发针对算法可解释性的算法，这将进一步促进“技术黑箱”的破解。

因此，算法透明原则依然是我们努力的首要方向，也是立法首先应当确立的原则。但对于如何落实算法透明原则，目前仍尚未形成统一的有效方案。GDPR对自动化决策工具规定了广泛的可解释性要求，但是笼统的规定并不能带来令人满意的效果。例如，当谷歌搜索引擎进行智能广告推送时，会按照GDPR要求向用户显示“您可能会看到广告的原因”，但披露内容仍然相当概括。用户无法从这些简单的标签中弄清楚为何这些广告会出现在自己面前，更无从得知影响自动化决策的这些自变量的具体权重。因而，建立起无差别的算法解释性和责任规则并不可取，更重要的是区分不同场景，建立合适的算法透明规则。

建立场景化的算法透明规则，需要对各种场景下的不同算法进行类型化梳理，这需要十分庞大的调研工作。因而初期的立法可以只进行原则性规定，通过赋予法官较大的自由裁量权发展实务经验，嗣后再进行总结；或者可以确立非要件式的、指引式的立法，即像《反垄断法》第18条一样列出所需考虑的因素。具体而言，可能需要考虑如下因素：1.算法应用场景所涉及的利益冲突；2.算法应当在何种范围内披露，是向全体公众披露，还是向某个特定的审查委员会披露，抑或只向利益相关方及其委托人披露；3.要求算法开发者披露的内容包括哪些，例如是要求披露卢米斯案法官所要求的书面警示事项即可，还是要求披露算法的源代码、全部自变量及其权重、乃至全部训练数据集；4.算法的披露可能带来何种后果，应当如何预防不良后果的发生；5.是否需要设置相关机制辅助对前述披露内容的解释工作。

在算法责任机制方面，也需要更加细致的规则构建。一个常见的讨论是算法责任问题在侵权法上如何定性。例如，德国学者格哈德·瓦格纳曾经运用教义学方法分析了自助系统应当适用产品责任，而不是生产者责任。笔者认为，为了防止侵权法责任规则对技术发展的压制，应当建立起类似于机动车交通事故责任强制保险那样的保险机制，以平衡权利保护与技术进步，在此基础上可以适用或类推适用我国侵权法上的产品责任。而在刑事司法程序场合，由于算法产品涉及重要的人权问题，应当将算法责任机制与准入制度挂钩，根据算法表现进行动态评级，调整法院的公共服务购买清单。

（二）司法：明确算法决策的辅助地位

目前，许多法律科技公司都在开发基于大数据的类案推送工具，以帮助法律从业者更好地从事法律工作。在司法审判领域，面对各类算法决策工具，首先需要明确的是，算法决策工具不能起到对法官的替代作用，只能起到辅助裁判的作用。算法只能扮演辅助裁判角色的原因如下：第一，解释和运用法条的工作本身蕴含着价值判断的要求，这个任务必须由有着同理心的人类法官完成，而不能纯粹诉诸技术理性，否则人的主体性地位可能会受到威胁；第二，尽管算法可以通过训练，识别尽可能多的相关关系，从而揭示隐藏在既有判决之下的影响因素，但是由于数据质量、数量、算法、算力等方面总存在着局限性，因而未必能够完全揭示出人类意识中的全部自变量；第三，如前所述，算法本身可能继承了人类既有的偏见，而这些偏见需要有修正的机会，机器本身无法完成这样的修正，只有人类法官才有可能在裁判中纠偏；第四，算法所展示出的结果过于倚重聚类数据，因而在输出的结果上灵活性较低，交由人类法官作出终局性判断，既能让法官发挥必要的自由裁量权，也是卢米斯案所肯定的被告享有个性化裁判权利的体现。

在明确了算法决策的辅助地位之后，我们需要讨论算法应当在何种程度上发挥辅助作用。卢米斯案给我们的一个启示是：法官应当注意到风险评估算法只代表对历史数据的分析，而判决要充分考虑到本人在本案中的独特性。但是，诚如上文提到的批评意见所说，法官并不是专业的科学家，即使开发商或使用者提交了书面风险警示，法官们也无从辨别算法在多大程度上是不可靠的。因此，在广泛地培养起精通技术的专门法官之前，将识别算法风险的责任全部分配给法官，并不是明智之举。我们应当从法院居中裁判的传统智慧中寻找替代性方案。正如举证责任规则所揭示的那样，法官的义务并不在于发现自然事实，而在于确定法律事实。因此，允许双方对风险评估算法加以举证质证、攻防辩论，再由法院根据双方提交的证据和意见进行裁判，可能是更好的办法，这也使得像卢米斯这样的被告的正当程序权利能够得到保护。

开放法庭辩论的重要前提就是要确保至少辩论双方能够掌握重要的信息，因此必须确立这个场景下的算法透明度规则。对此，我们仍然可以沿用前文提到的场景化的分析框架：

1.利益冲突。如同卢米斯案所揭示的那样，最为显著的利益冲突就是被告人的正当程序权利与开发商的商业秘密权利之间的冲突。在这个场景中，算法评估工具实际上扮演的是类似于法官的角色，属于国家机器一方，因而对于算法背后商业秘密的保护，应当遵循打击犯罪和保障人权的平衡框架。原则上应当认为，对开发商商业秘密的保护要以保护被告人的正当程序权利为界限。

2.披露对象。首先需要回应的问题是有些学者提出的只能使用开源算法的方案，因为如果使用开源算法，就无需讨论披露范围的问题。对此，笔者认为，不同于技术成熟阶段，在技术起步阶段强求算法开源是不切实际的。只有在自由竞争的市场环境下，才能够催生出更加成熟的技术。而算法的专有属性会为算法开发商带来商业利益，这会促进其参与市场竞争。因此，现阶段不应当要求算法开源，也不应当将其披露给全体公众，而是应当只向特定利益相关方进行披露。

那么，哪些人构成利益相关方呢？如果按照前述理解，算法代表追诉犯罪的国家机器，因而风险评估算法实际上接近于《刑事诉讼法》规定的“案卷材料”的地位。根据《刑事诉讼法》第40条的规定，辩护律师享有阅卷权。因而，辩护律师应当属于披露对象范围。尽管《刑事诉讼法》尚未明确规定犯罪嫌疑人、被告人的阅卷权，但是学界一直在呼吁法律规定此项权利。从算法的特性来看，不同于其他案卷材料，算法不会引发犯罪嫌疑人、被告人翻供等风险，而对犯罪嫌疑人、被告人披露此项信息，是其行使自辩权的基础。那么，公诉人是否属于披露对象？笔者认为应该作出肯定的回答。首先，如果在国内推行类似于COMPAS的算法，其提交法院的方式应当是类似于今日检察院递交的量刑建议书，公诉人作为将算法带入刑事审判程序中的一方，应当同时将使用算法的风险信息以及判断此项风险的必要信息同步带入到法庭之中。其次，如果公诉人不享有获取相关信息的权利，就无法在庭审中完成我们所预期的攻防对抗过程，无法将算法的风险更完整地展露出来。最后，基于公诉人的强势地位，要求开发商仅向犯罪嫌疑人、被告人及其辩护律师一方披露，是不现实的。由于法官处于居中裁判地位，需要审查双方就算法风险提交的证据和意见，因而也必然属于披露的对象。正如前面许多文献所指出的，算法披露未必导致算法能被理解，因而法庭可能需要新的角色来担任技术方面的“翻译”。《刑事诉讼法》第197条第2款规定的“有专门知识的人”可能会胜任这一角色。因而，公诉人、当事人和辩护人、诉讼代理人如果提出申请，有专门知识的人也当然应当成为披露对象。综上所述，披露对象应当包括犯罪嫌疑人、被告人及其辩护律师、公诉人、法官以及有专门知识的人。

3.披露内容。需要说明的是，要想帮助法庭提高识别算法风险的能力，仅仅披露卢米斯案要求的书面警示事项是不够的，因为这更类似于格式条款中的免责性文字，而无助于量化算法的可靠性。因而，必须尽可能多地披露算法背后的细节。最基本的要求是披露全部自变量及其权重，因为从中可以直接分析出有无歧视性的因素以及不成比例的因素。当被告人及其辩护律师对所披露的这些内容产生合理怀疑时，则有权要求披露算法的源代码乃至训练数据集，以便委托有专门知识的人介入核实。

4.披露风险及预防。要求算法披露最核心的一个风险就是对商业秘密的侵蚀。对此，《刑事诉讼法》第54条、第152条、第188条也提供了参照，即对于涉及商业秘密的证据应当保密，对于涉及商业秘密的案件，当事人申请不公开审理的，可以不公开审理。既然算法背后的主要法益仍然是商业秘密，那么完全可以参照前述法条构建规则，尽可能阻断商业秘密的扩散。具体而言，一方面，应当要求披露对象负有保密义务，可以在庭审前要求他们签订保密责任书；另一方面，对于涉及算法商业秘密的案件，算法开发商有权要求不公开审理，或者要求涉及算法商业秘密的庭审不公开。至于违反保密义务的行为，则可以依照《侵权责任法》《反不正当竞争法》的框架进行处理。

5.配套机制。为了促进针对算法辩论的有效性，可能的配套机制是培养起针对算法风险分析的专门鉴定机构。此外，由于我们明确了算法的辅助裁判地位，我们应当在允许算法辅助裁判的同时，及时对算法风险评估技术的科学成果加以推广。如果算法评估产生了稳定的、非歧视性的、经严格论证后被认为合理的相关性结论，可以适时将其提升为司法解释中的法定量刑因素，以便在使用算法的案件和未使用算法的案件中获得较为统一的裁判结果，维护刑法的稳定性和权威性。

（三）行业标准：构建伦理标准和技术标准

针对卢米斯案的分析揭示了算法可能继承和扩大的道德风险，也显示出开发商可能会出于商业考虑或技术不完备而引发系统性的歧视与误判。对此，算法开发商内部应当增强行业自律，并及时总结经验，制定相关的伦理标准和技术标准。

人工智能的发展面临着多元利益的权衡，因而需要制定行业共同遵循的伦理框架。例如，欧盟发布了“可信赖AI的道德准则”，其中规定了七项治理原则：1.人工代理和监督；2.技术的鲁棒性和安全性；3.隐私和数据治理；4.透明度；5.多样性、非歧视和公平性；6.环境和社会福祉；7.可问责性。尽管如何确定算法公平的内涵仍然是一个难题，但是这不应当阻碍行业自律的有益尝试。算法公正的共识可能正需要在行业内部讨论中才能达成。同时，诚如学者所说，算法暴政的根源不在于算法，而在于开发和使用算法的人。制定伦理标准可以完成对开发者的道德培训，使得技术人员在开发算法时可以增强警惕道德风险的意识，从而减少算法中的歧视和偏见。

如果说伦理标准是一项较为宏观的展望，那么技术标准则更具可操作性。技术标准不仅旨在控制质量的稳定性，也是对道德风险的系统性预防。笔者建议，应当根据算法操作的全过程设置各项技术标准。

1.在数据输入阶段，应当保证数据的质量，避免“垃圾进，垃圾出”的现象，要规范个人信息特别是个人敏感信息的使用，注重数据的精确性，也要注重各类人群数据量上的均衡，在进行数据标注时要准确分类。

2.在数据分析阶段，应当保证算法的中立性和准确性，通过设置严格的技术标准多角度地检测算法中可能存在的歧视性风险，避免在分类中遗漏重要的相关变量。

3.在数据输出阶段，应当根据技术发展水平，尽可能在输出结果的同时，同步输出各项自变量及其权重，乃至对关键算法的解释，以便算法使用者更好地判断该算法的风险。

结  语

卢米斯案是人工智能规制过程中一个颇值得关注的案件，它涉及算法风险与正当程序规则之间的平衡。尽管法院在判决中驳回了被告的主张，但该案涉及的问题引发了更为深远的讨论。学者认为，卢米斯案判决低估了COMPAS算法的准确性、歧视性和透明度风险，判决中的建议也因为忽略了法官识别算法风险的能力和意愿而不具备可操作性。在卢米斯案之外，由于算法在社会生活中越来越普遍地存在，算法暴政的风险也变得无处不在。为了应对算法权力异化问题，欧盟在GDPR中设计了算法可解释性规则。但是，该规则在文本上存在着解释论争议，学者们对这项规则的正当性也有着不同看法。从实践效果来看，可解释性规则在可行性和有效性方面也存在着弊端。在探索构建算法透明化与责任体系方面，学界存在着各种各样的声音，但尚未达成一致方案。但总的来说，算法透明原则仍然是最大的共识，也有着较为有力的论证支撑。

卢米斯案及其引发的争议启示我们，在面对算法风险时，应当采取立法、司法与行业自律多元化规制的策略。在立法方面，我们应当对算法透明原则进行细化，制定场景化的算法透明和责任规则。在司法方面，我们应当明确算法决策仅具有辅助性地位，不能替代人类法官进行判案，我们还要认识到算法的商业秘密利益应当以被告人的正当程序权利为边界，利用现有的刑事诉讼法资源，设计出更为精细的算法透明制度，使得围绕算法风险的法庭辩论得以展开，从而尽最大努力消解算法风险带来的损失。在行业自律方面，我们要鼓励算法开发者协商制定出伦理标准和技术标准，以促进算法正义。

上海市法学会欢迎您的投稿

[e-mail]

相关链接

来源：《东方法学》2020年第3期（总第75期）。转引转载请注明出处。

责任编辑：孙建伟    王柯心

请帮助点亮在看