【大都讲坛】李本：“美国法律体系中的人工智能：挑战与问题”讲座实录
B D A I L C
欢 迎 关 注
Claude Monet
“美国法律体系中的人工智能：
挑战与问题”讲座实录
主讲 / 哥伦比亚大学法学院教授 中国法中心主任 李本
整理 / 黄圆胜 李瑞 贺强玉
2018年6月20日，大数据和人工智能法律前沿问题系列讲座第四讲“美国法律体系中的人工智能：挑战与问题”在科研楼A913会议室顺利举行。本次讲座由哥伦比亚大学法学院教授、中国法律研究中心主任李本（Benjamin L. Liebman）主讲，中国政法大学法学院院长焦洪昌教授主持。来自北京大学、中国应用法学研究所、中国政法大学的嘉宾和来自国新启迪基金管理公司等企业界的代表以及校内外二十余名学生参与了本次讲座。
开 场 环 节
焦洪昌院长（主持人）：各位老师、各位同学大家下午好。今天大数据和人工智能法律前沿问题系列讲座第四讲的主讲人是来自美国哥伦比亚大学法学院的李本教授。他本次讲座的题目为“美国法律体系中的人工智能：挑战与问题”。非常感谢李本教授百忙之中能够再次来到法大分享他在这一领域的研究心得。在此我代表中国政法大学法学院对李本教授的到来表示热烈的欢迎！今天参加讲座与谈的嘉宾有北京大学法学院易继明教授、中国政法大学法学院副院长薛小建教授、成协中教授、中国政法大学证据科学研究院李训虎副教授、中国政法大学法学院朱铮讲师、马允讲师、中国政法大学法与经济学研究院徐文鸣讲师、中国应用法学研究所陈敏光博士后以及国新启迪基金管理公司王磊先生、出门问问法务总监孟洁女士等企业界的代表，还有部分在校研究生一并参与今天的讲座。我们知道，当下人类正处于一个大数据时代、人工智能的时代，社会变革迅速推动法律变革。人工智能的法律应用及其面临的挑战是中美学术界、实务界面临的共同问题。相信今天李本教授的讲座会给大家带来人工智能法律规制的美国经验。下面有请李本教授主讲，大家欢迎！
主 讲 环 节
李本教授：最近几年，“AI”（人工智能）一词在中国逐渐流行起来，不同学科的学者均在思考如何面对新技术带来的机遇与挑战。法律界亦不甘落后。从各种法律与人工智能研讨会到形形色色的法律服务机器人以及裁判文书自动生成系统，法律人工智能的建设与应用正如雨后春笋、遍地开花。与中国相同，美国的法律人工智能发展趋势也引发了学界与实务界的广泛讨论。
在美国法律人工智能领域，问题聚焦于算法在刑事诉讼程序中的应用。在刑事诉讼程序中，算法已经被大量运用于预测个体是否会再次犯罪等可能性，从而影响关于保释、量刑和假释的决定。
几年前，美国就开发了COMPAS、PSA和LSI-R三种主要的风险评估软件。目前，美国已有一半以上的州利用这些软件来辅助法官量刑。其中，一些州使用模型来辨别哪些在押人员会在被释后再次犯罪，从而降低累犯率。以及在AI的帮助下通过更精确的风险评估来降低羁押率。另一些州则直接依靠软件进行量刑。因此法律AI的预测功能对美国法律界尤为重要。
客观地讲，风险评估并不是新兴的领域，它一直是量刑和假释裁定的组成部分。以前，这种评估依据的是法官的“直觉、本能和正义感”，而现在它将依赖于精算模型和算法。COMPAS与LSI-R模型涉及五个主要的领域：犯罪的情况、人际关系、个性、家庭、还有社会排斥程度。
由于这些软件的知识产权要求，确切的考虑因素和计算权重，外界是不知情的。有学者研究指出，这些模型可能还包括工作经历、经济状况、家庭成员犯罪记录、年龄、性别、婚姻状况、福利、教育水平等要素。值得一提的是，其中的一些模型是为假释裁决而设计的，现在却被应用于量刑。
实践中，这些模型首先会根据与不特定于被评估者个人的历史数据来做出风险评估。随后，这些模型会针对被评估者个人提出一系列的问题（有时数量可能达到甚至超过100个），并从评估者个人回答或是从其犯罪记录中提取答案。
问题的答案会进一步和历史数据进行比对。尽管如此，许多学者认为这样的模型会在适用于被告人时出现偏差，因为这些模型考虑了大量与被告人情况无关的因素。与此同时，另一些纳入这些模型的因素则带有偏见。
换言之，这些模型可能在预估某一群体的累犯风险时相对可靠，但是对于某一个人的累犯风险的预测却会失准。此外，虽然累犯风险评估一直以来都是量刑中需要考虑的一个因素，但它也仅仅是因素之一。例如，被告人的道德可责性也时常会纳入量刑的考量。但是，依靠算法来进行决策使量刑在很大程度上取决于对被告人累犯风险的评估，将累犯风险变成量刑中的主导因素，甚至是唯一因素。这样的结果是量刑仅仅关注被告人累犯的可能性，却忽视了对监禁本身是否可以降低累犯概率的考量。
人工智能在司法领域的广泛应用已经导致了众多的挑战。在美国，使用机制并不透明的算法来取代法官的自由裁量引发了众多的批评，总结起来有如下几点：一是准确性问题。有学者通过实证研究证明这些算法并不能很好地预测未来的暴力犯罪。一项研究显示，在被算法预测的未来两年内实施暴力犯罪的人中，仅有20%实施了暴力犯罪。就算范围扩大到所有犯罪，算法预测的正确率亦仅有61%。据此，部分学者认为AI及其算法在风险预测领域并不优于其他方法。
二是社会问题。量刑是否应当依据社会经济的不利因素吗？算法在预测评估时会参考对方及其亲属的生活环境、受教育程度、收入情况、违法记录等因素，这便形成了一种压制贫困者的体制。尽管这些算法并没有直接询问或考虑被告人的种族，但是其中很多问题设计却体现了类似的目的。许多学者已经提出很有说服力的论证，证明这些设计可能会引发种族歧视。
例如，被评估对象是否与警察打过交道这一问题。在美国的大城市，年轻的黑人经常会被警察拦下来盘问。这样的问题显然偏向性地增高了黑人被评估者被预测的累犯风险。同样地，被评估者会被询问，自己的家庭成员是否曾经有犯罪记录。由于在美国，黑人的被羁押率要远远高于白人，这样的问题同样会过度预测黑人受访者在未来再次犯罪的风险。因此，是否与警察打过交道、是否有家庭成员有犯罪记录这类问题很大程度上相当于直接询问被评估者的种族，进而把种族和累犯的可能性联系起来。有研究也证明，这些模型过度预测了黑人被评估者在未来再次犯罪的概率，同时也过低地预测了白人被评估者在未来累犯的概率。综上，虽然美国不允许开发者在这些软件、算法和模型中明确写入种族等因素，但因某一些考虑因素客观上与种族相互关联，它们也就成为了将种族与风险预测相连的媒介。
三是正当程序问题。鉴于负责设计这些算法的公司拒绝公开它们的算法或这些算法所考量的要素，被告人也就无从知晓这些算法究竟是如何设计的。同时，目前针对法律程序中算法的使用，几乎不存在任何规则或者标准。这就在一定程度上形成了所谓的“黑箱”。
正是这一担忧使人工智能在美国司法系统中的运用引发批评和争议，并带来了现实中的司法挑战。最近在威斯康星州便发生了一起典型的案件（State v. Loomis）。该州一法院使用COMPAS作为量刑过程中的一环，被告认为法官违反了正当程序原则并上诉到威斯康星州最高法院。此案在美国引起了较大的争论，被告的部分主张也基本反映了当前对法律AI的批判观点：
其一，被告应有权检查法律AI的算法，如何科学透明地公开算法信息是法院必须面对的；
其二，算法的科学有效性和正确性值得怀疑；
其三，算法量刑侵犯了量刑个别化的权利；
其四，以性别作为量刑考虑因素违反宪法。
威斯康星州最高法院最后驳回了被告的诉讼请求，主要原因在于州最高法院认为使用算法量刑没有违反正当程序原则，且在使用法律AI的同时法官依然可以做到量刑个别化。在威斯康星州，算法只是量刑的一个因素，但并不是唯一因素。不过该州最高法院亦借此案要求法官向被告人解释其在做出量刑决定时所考量的因素，并且提醒法官警惕使用COMPAS算法可能带来的偏见。
对于本案的处理结果，有学者批评道：本案过后，法官使用的算法依然没有得到公开，“黑箱”依然可能存在。另外，相关机构未能对法官如何使用风险评估系统给出充分的指导。换句话说，法官真的理解自己在使用工具吗？如若法官不能掌控好AI和算法，很有可能会导致种族歧视等社会问题。更为致命的一点在于，算法量刑工具的虚假吸引力风险依旧存在。美国法官很多时候对AI和算法持乐观态度，认为其具有科学性和专业性，操作起来也方便快捷，因而喜欢使用。
殊不知算法模型的建立是依据经验法则的，法律AI本身其实是另一种形式的经验证据。
当然，我们不能忽视支持法律人工智能的观点。他们认为，像这些模型一样，法官同样持有偏见，而算法可以提供一个用来减少人类偏见的客观标尺。对此，一些学者提出，算法并不一定比人更能克服偏见，但不会被主观情感左右的AI在某种程度上或许能够限制人为偏见或提供客观基准。此外，一些州的数据表明，算法在减少被羁押率方面确实有一定的作用。而面对美国法院普遍存在的诉讼爆炸、案件积压问题，人工智能高效的运算、决策能力能使大量事实清楚、情节简单的案件得到迅速处理。支持者们希望通过降低积压的案件来减少案件当事人因为案件审理缓慢而遭到的不公正待遇。
除法院之外，类似的法律AI也被应用于其他法律领域，典型的就是美国警察执法使用的软件和算法。但其重点不在预测个体犯罪的可能性，而是犯罪可能发生的时间、地点，从而使警方能合理配置警力资源。不过与法院使用的人工智能一样，其使用风险即在侦查贫困社区犯罪方面形成恶性反馈循环：每次出警侦查到的轻微犯罪将会形成新的数据，而这些数据又会促成更多的出警，因为模型在预测轻微犯罪（“滋扰型犯罪”）方面的优先度高于重罪，并且其考量因素可能让贫穷本身成为一种罪行。长此以往，对少数族裔社区的轻微犯罪将会产生更多的逮捕，同时以数据为基础的犯罪地图会与贫困区域重合。如此，有学者警告称，警方使用的预测模型将会令传统的“罪后出警”向“罪前出警”转变，将普通公民转变为嫌疑犯；同时预测型出警还会助长种族歧视的风险一这些问题都是目前美国警方要着力解决的。
在司法领域之外，一些律所和法律公司也利用AI来进行电子开示和结果预测，并利用自然语言处理技术筛选与案件有关的文档。而在法学研究领域，对于机器学习技术、AI和算法的研究，美国法学界可以说是刚刚起步，对不少既存和设想中的问题的验证与解决还停留在最初阶段。
与中国的法学家们一样，多数美国法学家也对电脑技术不甚了解，缺乏相应的技能。因此在研究法律人工智能时，多学科、跨领域的合作相当重要，而法律人工智能亦会是法律实证研究的新领域。
综上所述，目前，人工智能在美国快速发展，而违反正当程序、歧视、法律私有化和算法不透明等关于这一技术的诸多问题与质疑也随之而来。为了人工智能在法律领域应用的继续发展，我们需要对它的优缺点进行认真地讨论。同时，也需要增加人工智能技术的透明性。公众对司法的信任建立在司法透明的基础上：如果这些算法继续保持神秘并且AI发展的重心始终围绕着公司的利润而非公正与平等，那么AI将很难取得公众对其在司法中运用的信任。这一信任不仅关乎AI的成功发展，同时也关乎司法体系能否长期而健康地运行。
与 谈 环 节
焦洪昌院长（主持人）：谢谢李本教授的精彩发言！下面进入与谈环节，有请北京大学法学院的易继明教授作点评。
易继明教授：每一次听李本教授的讲座，都让我产生新的想法。这次的讲座让我想到了一个词，叫做技术祛魅，就是揭开技术的面纱。有一个话题叫做技术理性，就是说技术有它自己的理性，技术可以被祛魅。李本教授今天谈的是在目前的情况下，即AI还没有发展出自主意识和情感，即只是一个辅助工具的时候，在定位上属于弱人工智能。我们都认为技术是理性的，对技术产生一种崇拜。我认为其实应该把它的面纱揭开，尤其是在司法的使用过程当中。比如说技术运用于侦察阶段时，它可以不公开，但运用于庭审时必须要公开，因为此时要向当事人说明这个算法里有哪些因素，哪些因素会考量它的权重。我想到一个知识产权的问题，在大陆法系里，判断专利技术或者产品是否侵权，法庭会有一个辅助法官的人员，就是技术调查官，这个技术调查官可能是专利局的审查员或其他单位的人员，他会对技术提供一些意见并告诉法官。在台湾的智慧财产法院里，这个技术调查官，只是坐在法官的旁边，并不接受双方当事人的质询，这个角色让双方当事人和律师很恐惧，因为其没经过双方的质证。我们现在也面临这个问题，我们也在推行技术调查官。那么他给法官提供的报告应该是什么样的？当然，在AI运用时，也需要公开，特别是在庭审环节，在侦查环节可能不需要，因为这个时候它只是一个在不侵犯人权的角度进行的侦查行为。
根据我们的调研情况，北京知识产权法院在适用技术调查官之后，技术调查官出具的意见大部分法官都会承认。令人尴尬的是，如果技术调查官出具了一个意见，而且他的意见成了最后的判决，法官的作用是什么？而且技术调查官的意见如果没得到充分质证的话，会有什么问题？从正当程序上讲，算法公开应该是一个正常的行为。这些技术可能都起到了操纵的作用。所以，在程序上，技术要被公开来保持它的正当性，保障程序的基本价值。这样在结果上就不被算法操纵了。
第二个就是警察针对平民出警的问题。如果一个地方犯罪数比较多，根据大数据运算，网络技术应用中有一个理论叫做网格化控制，如在新疆某一个地方，我们能够对每一个在新疆用电脑和用手机的人进行监控，这就会导致犯罪率非常低，甚至是零犯罪率。所以问题是我们对社会控制的目标到底是犯罪为零，还是容忍一定的犯罪？有了一定的犯罪，可能更符合人性状态。我认为我们需要容忍一定比例的罪犯存在，而且运用AI的社会成本也很大，从成本角度来说，或者从犯罪的社会控制理论来说，在运用辅助工具的时候，不是要追求一个零的状态，而是要允许存在一个相对灰色地带模糊空间，这可能就像侵权法一样，我们目的不是没有过错行为，而要容忍有一个灰色地带。
第三个就是后来提到的公司要不要承担责任？我们传统的理论是承担产品责任，但任何大数据公司在提供这些服务的时候，都会告诉顾客，绝对不会说百分之百不出错。这可能是免责事由。这个时候的责任主体是谁呢？因为技术本身是辅助工具。所以说当在弱人工时代时，当他被定位成辅助工具的时候，责任就是一种产品责任。当然如果说法院跟大数据公司有特别的约定，那另当别论了。但在一般的产品提供里面，比如对错误监禁的这些受害者，法院肯定是有过错的，所以责任主体应该是法院。
成协中教授：李本教授讲的内容虽然不直接涉及到行政法的内容，但是给我很多启发。最直接的一点就是行政法上的公平原则，即行政机关在作出行政决定的时候，只能考虑法定的相关因素，不能考虑不相关的因素。所以行政机关在采取一些措施的时候，如果说出警时考虑了性别或者贫富情况等因素作出措施，可能就不属于法定的相关因素，这个时候措施的合法性和正当性就可能会受到质疑。所以在这种时候，这种相关因素的结构就是封闭的、稳定的。这也是为了防止行政权的滥用。
但在现代社会，这种封闭结构可能会被打破。一方面是行政机关所采取的一些措施，不是像传统的侵益行为，而是更加中性的行政行为。所以这时，对于行政措施的防范程度可能要降低。另外一方面，因为社会复杂性的增加，使得行政措施本身的正当性会提升，所以先前的法律因素可能过于封闭和局限不足以预防风险。由此产生的相对开放的结构，可能会赋予行政机关更大的一个裁量空间。
第二个方面，根据法国行政法的经验，行政机关在作出行政决定的时候，必须进行个案审查。不管这个案情是复杂还是简单，行政机关不管使用什么样的工具，最后对个案决定必须是基于个案的事实或审查，必须要对案件进行全面客观地审查，不然会构成行政机关怠于行使裁量权，行为的合法性就会受到挑战。我觉得这样一个原则，在算法的适用上也是可以的，不管是法官还是行政机关，在运用这些算法来作出判决，或者作出决策的时候，可以考虑相关因素，运用各种方法来辅助作出决定，但最后不能够免除其对客观事实进行全面客观审查的义务。这是我想到的第二点。
最后，我觉得这样一种算法的适用有可能会导致社会冲突的加剧，或者说影响社会融合，造成恶性循环。针对这种状况，一方面是完善算法本身，算法必须是公开的。另一方面就是算法的适用，我觉得是应该受到限制的，只有在一些比较严重的犯罪或者比较严重的行政措施的时候，才能够使用这种辅助工具。而在一些轻微的案件中，用这种算法可能会造成更大的一种社会危害。所以，算法的适用范围应该受到限制。谢谢！
薛小建副院长：首先感谢李本教授在百忙之中还能来法学院做一个讲座，我跟焦洪昌院长有所不同，我始终对人工智能和大数据在法律领域的运用持有一种相对否定的态度。我认为，人工智能首先极大地损害了民主政治，比如我们看到有消息报道美国总统选举深受Facebook公司算法的影响，如果人工智能已经发展到这个程度的话，在美国这样法治比较完备的国家都可能会导致这种结果。我担心我们这样法律制度还不是十分成熟的国家，如果大数据渗透的话，民主政治是不是会受到较大的损害？
第二，我想就是人工智能从本质上来讲，会有违法律伦理，比如人工智能公司生产出一些产品，提供给公权力来使用，会存在公共权力被私有化的风险。另外一个就是公平，我觉得法官的适用在很大程度会导致不公平，它会跟法律伦理方面有较大的冲突。
第三，是我认为人工智能应仅仅只能把它作为一个工具，比如在某些情况下它可能会提高效率，比如我们可以迅速地找出类似的判例，但是也仅仅能作为我们一个参考，因为这个工具不能帮助我们做到同案同判，任何一个案件都不可能是相同的，所以它也就是仅仅是能够辅助我们，在一定程度上会提高我们审理案件的效率。但法律的实施的过程中其实最不应该讲究的是效率。当然就本身来讲，人工智能可能会给我们法律界带来更大的影响，比如google造人，如果造出这个人的话，那么亲子关系婚姻家庭等，可能会引起法律的大变革。造出来的这个人可能还会犯罪，又怎么判他？谁来承担责任？这些带来了更多值得我们思考的问题，所以我自己认为，人工智能从总体上来讲，在法律的领域中，应该是有所限制而不是有所扩大，谢谢。
李训虎副教授：我想简单谈一点。算法、数据以及应用场景是人工智能的三大关键要素。其中，算法的黑箱化、数据的垄断趋势、以及应用场景问题，这些问题都值得我们重点关注。比如在应用场景方面，目前公检法如果都使用一套人工智能技术的话，可能会面临控辩失衡带来的技术程序正当性的质疑。
徐文鸣博士后：很高兴能来到这里学习。我主要提两个问题。大家刚才都在提的算法可能带来的歧视。如果从统计上来说，算法的目标是预测的话，那就应该选择预测能力最强的指标。种族和性别等是预测能力最强的指标，但将这些指标放进去是违法的，那么该如何处理这个问题？第二个问题，作为研究大数据的学者，您觉得还有哪些值得探索的大数据领域？
李本教授：对个人来说，种族和性别没有太多关系。比如说，美国某个地区犯罪率比较高，但这与生活在这个领域的个人没什么关系。并不是说这个领域犯罪率高，这个人就有更高的犯罪率。统计要与个人的行为分开。第二个问题是，目前，中国法院将判决书上网，对学者来说是很好的资源。我们可以通过研究这些数据，以此来发现问题。虽然大数据目前还有一些漏洞，如数据公开不全面等等，但仍然值得我们去研究去发现新的问题。
马允讲师：感谢李本教授的讲座。我提一点我的想法。从刚才的各位学者的讨论来看，如今法律体系中的人工智能还是在criminal这个领域，但这个领域在上个世纪六七十年代，就已经有深入研究。我想问一下，人工智能在这个领域是扮演着程序的角色还是与之前的研究有什么质的飞跃？还有，我是学行政法的，人工智能中的算法对行政法领域裁量的问题有很大的改变。算法到底是什么?在实际的司法裁判中，我对算法的理解是，它是在模拟行政裁量和司法裁量的过程，然而，算法到底给司法裁量带来什么效果？中国目前已经尝试在交通违法领域使用人工智能。美国人工智能的应用还在criminal领域。我觉得算法的应用不应该在变量很多的刑事领域，反而应该适用在交通违法领域。这里还要提到，在行政法领域中裁量基准的法律效力问题。如果认为裁量基准具有法律效力，那么法官就要按照这个基准裁决案件，必须“作茧自缚”。但是，如果按照裁量基准裁判案件往往就会忽视别的因素。所以，如果算法应用在裁量领域，会让法官“作茧自缚”。我认为，算法的功能更应该偏向于解决类似交通违法等纠纷，而不是偏向预测。谢谢，以上就是我的思考。
孟洁女士：我来自一家做人工智能的企业，很荣幸能得到汪老师的邀请来参加今天的讲座。我想从产业界的角度谈谈几点想法。目前我们公司的人工智能主要在视觉与语音领域。主要研发智能音箱，可穿戴的智能设备，车载智能设备等。人工智能对语音进行识别、分析、在数据库里搜索，语音合成，整个过程涉及到很多法律问题。在整个城市建设方面，也有很多人工智能的加入。而政府目前是在鼓励企业研发这些AI技术。通过刚才的讨论，我觉得有的学者对此很乐观，有的却很担忧。企业关于AI技术也是在不断摸索当中。其中涉及的伦理道德和法律问题也是在不断完善的。从欧美的经验来看，美国与欧盟的立法模式不同。美国对这些新兴事物持有更宽容的态度。我觉得中国的AI技术也是如出一辙的。目前中国的AI技术还存在很多不完善的地方，立法也不可能在目前这个阶段就比较完善。我觉得现在还是需要给一些大企业发展的空间，让立法与人工智能一同发展。谢谢！
陈敏光博士后：我个人觉得人工智能如何运用到司法领域还是不太清晰的。我曾经当过法官，比较了解司法裁判的过程。在个案裁判中不同意见都会记载在副卷里，副卷一般是不公开的。美国的不同意见都会附在判决书中，大众能够得知。所以这里涉及到司法裁判中人工智能能够深入到何种程度，或者说如何在司法裁判中运用的问题。还有一点，司法裁判不是解决纠纷唯一的手段，而是最后的手段。司法大数据能够反映一个地区纠纷主要集中的领域。如果是这样的话，是否能够让大数据技术与政府合作，从纠纷源头治理，减轻法官的工作量呢？谢谢！
李本教授：对于第一个问题我是这么理解的。在美国，与案件有关的所有材料都会公开，所以要看具体的公司怎么使用这些资料。而且这到底是大数据的整理还是AI技术，暂时还无法下定论。第二个问题是，大数据的确是一种很好的资源，我们要充分利用。学界当然是要研究的，而且我们的研究也可以给法院和政府提供好的意见和思路。
洪昌院长（主持人）：感谢李本老师的讲座和答疑。因为时间有限，今天的讲座就到此结束。希望有时间再和李本老师以及各位老师深入讨论这个话题。
往期荐读
编辑：钟柳依
欢迎点击“阅读原文”