【笔谈系列⑬】郑曦︱反思司法人工智能
编者按：人工智能与大数据、生物技术等科技革命和产业变革联合积聚力量，催生了大量新产业、新业态、新模式，给全球发展和人类生产生活带来深刻的变化，也使之成为自然科学、技术科学等学术领域的热点，研究成果丰硕。新一代人工智能为经济社会发展注入了新动能，为人类创造了更加智能的生产活动、工作方式和生活方式，但是，在政府治理、法律、安全、道德伦理等方面，人工智能也提出新问题甚至挑战，也是新的学术议题和学术增长点。自然科学、技术科学领域长于人工智能在计算机科学技术、数学、控制论、信息论等方面的研究，人文社会科学方面的研究相对缺少。
2021年7月，本刊编辑部邀请中国社会科学院、北京外国语大学、南京大学、南京师范大学、上海师范大学等单位的专家围绕“人工智能：理论阐释与实践观照”展开热烈而深入的讨论。编辑部根据专家发言整理并形成笔谈，从不同角度展现人工智能对社会政治、经济、法律、文化、生活等方面所产生的影响，为推动学术界对人工智能课题更加全面、深入的研究作出应有的努力。
关键词：人工智能；机器人；社交机器人；机器伦理；数字劳动；算法；社会正义
反思司法人工智能
北京外国语大学法学院教授、博士研究生导师
郑 曦
为什么讨论今天的这个话题？很多人觉得，所谓司法，无论刑事诉讼或者民事诉讼，似乎跟自己的距离都很远，仿佛自己做个良民、不干坏事，司法就与自己无关了。然而沈家本先生有言，“刑诉律不善，虽良民亦罹其害”。每个人都可能在错误的时间出现在错误的地点，从而与司法发生关系。倘若在此种情况下，有权定罪量刑甚至剥夺生命的不是作为法官的人，而是作为法官的机器，那么会带来什么样的后果呢？
人工智能运用于司法，从某种程度上来说是必然之事，因为人工智能在社会生活各个方面的运用已经是一个不可逆转的时代潮流，司法本身是社会生活的一部分，它显然不能脱离这种时代潮流。各个法院、检察院都面临着案多人少的问题，先看一个数据，2018年全国各级地方人民法院和专门人民法院受理的案件数已经达到2800万件，大家可以猜想每一位法官大概每年要办理多少案件。在这种情况下，高层的想法是通过人工智能等技术的引入来提高效率，因此当前人工智能的运用在司法领域已很常见。比如上海高级人民法院在科大讯飞协助下开发的206人工智能辅助办案系统，就有量刑辅助、类案推送、证据校验等功能。而在国外，人工智能在司法领域的运用也不少见。2016年欧洲有一个报告称，其调查的四十多个国家的司法系统中都在一定程度上运用了人工智能技术，只不过运用的程度有所不同。美国几年前有一个著名的案件，叫卢米斯诉威斯康星州案，此案中的量刑裁判是依据一个叫COMPAS的人工智能工具所做的被告人社会危险性评估报告，该案的被告人就认为由于人工智能算法不公开，他的宪法性权利——对质权没有能够得到保障，尽管在这个案件中他最终败诉，但他提出的问题还是引发了激烈的争论。
现在运用于司法的人工智能面临着一些问题。
第一个问题是法律人与技术之间的隔绝关系。
搞法律的不懂技术，搞技术的不懂法律，这样一来就可能出现两套话语体系，甚至是“鸡同鸭讲”，使得运用于司法的人工智能技术总有种抓不住点的感觉。
第二个问题是对人工智能的研究存在一些误区。
有的人已经在研究人工智能的主体地位，甚至怎么把人工智能看待为人这样的问题，这种问题就不免太超前了一些。目前人工智能还处于弱人工智能阶段，甚至有一些伪人工智能混杂其中，它真的能够代替人吗？目前看来，短期内恐怕这种可能性还是很低的，如果真的有一天人工智能超过了人类，那么那个时候人类恐怕也没有能力去研究人工智能的权利保障、主体地位之类的问题了，人类首先要做的恐怕是怎么让自己存活下去，就像《黑客帝国》里一样。
第三个问题是理念方面的偏差。
因为包括对人工智能在内的科学研究，其基本方法之一就是试错，也就是说，技术的发展是以大量的错误为成本的，但是这个成本是司法承受不起的。因为司法中一旦发生错误，就可能导致错误的羁押，甚至错误的人头落地，因为司法是保障公平正义的最后一道防线，一旦这道防线被突破其后果不堪设想。因此技术和司法之间在理念上存在一些差异，错误成本的承担方式也有所不同。
在这样的现实下，人工智能运用于司法可能会带来几方面的风险：
第一个风险是影响公正。
刑事诉讼最基础的一个原则是无罪推定，所谓无罪推定，就是说任何人在被法院正式判定有罪之前，在法律上都被推定为无罪。用老百姓的话说，即便你被公安机关抓走了，即便你被检察机关起诉了，在没有被法院定罪之前，在法律上你还是无罪的。无罪推定的意义在于，一方面保障公民的基本权利，另一方面明确证明你有罪的责任由控方承担。但是人工智能一旦运用于司法，就可能损害无罪推定原则，因为在互联互通的背景下，数据会从公安机关传输到法院，那么从侦查中形成的有罪推定的倾向也有可能被推送给法院，让法官形成先入为主的有罪认定，这样就可能导致错误的判决，造成司法不公正的情形。
第二个风险是公民的诉讼权利可能会受到很大的影响。
例如在刚才提到的卢米斯诉威斯康星州案中，公民的对质权就因为算法不公开而受到了影响。现在有的学者认为人工智能会被打造成一个强势的裁判者，甚至创造出所谓的“阿尔法法官”，实际上这种可能性并不大。但是人工智能的运用确实会对控辩双方的力量对比产生影响，进一步加剧控辩双方的不平等。因为控方，无论是检察院还是公安机关，都在运用各自的人工智能工具，具有收集数据、运用数据的强大能力，而且这种能力是以国家资源投入为支撑的。而作为犯罪嫌疑人、被告人，普通公民显然没有这种能力，包括专业知识能力，也包括经济能力。这样一来，我们努力提倡了几十年的控辩平等原则，可能在人工智能的运用下被突破掉了。人工智能的运用使得原本就不平等的控辩关系变得更加不平等，比如控方可以掌握并使用几百个TB的数据，让犯罪嫌疑人、被告人一方淹没在海量的数据中，用形式的平等去掩盖实质的不平等，这种情况在一些国家已经发生过了。
第三个比较大的风险是对裁判权的影响。
裁判权是定罪量刑的权利，这是一种国家独占的权力。然而在人工智能运用于司法裁判的过程中，由于前面提到的法律人与技术之间的隔离关系，我们必须把技术的部分给外包出去，比如让科大讯飞、腾讯这样的科技企业去做应用、做软件、设计算法。然而问题是，这种外包仅仅是技术工作的外包还是可能把一部分裁判权给外包出去？比如在设计算法的时候，技术人员很可能把一些他们自己的观念、想法甚至固有成见注入软件或算法中去。作为一个人工智能算法的研发人员，我对LGBT群体（LGBT是女同性恋者、男同性恋者、双性恋者、跨性别者的缩写，特指性少数群体）抱有歧视，就可能把这种观念体现在算法中，使得LGBT群体在裁判中吃亏。还有，作为科技企业，在设计关于商业案件的人工智能时，也会尽可能搞出对日后自己可能涉诉案件有利的算法，从中获益。这样一来，我们就担心技术的外包会导致裁判权的实际外包，疑惑到底是法官的裁判还是技术人员的裁判？另外，资本具有天然的逐利性。技术的进步是时代的必然，资本的逐利性也是一种必然，这两种必然一旦结合就可能使得人工智能参与司法时产生问题。资本的逐利性和司法追求公平正义的目标之间是存在冲突的，我们就不得不警惕资本的逐利性加上人工智能运用后的裁判权实际外包，会导致司法公正方面出现偏差。
对于法官而言，还有一个很现实的问题。现在推行司法责任制，审理者裁判、裁判者负责，也就是说这案子是谁判的，那么后续发现错误就由谁来担责，而且这种责任追究是终身的，一旦案子判错了，可能法官要面临终身追责。一旦运用人工智能，到底案子算谁判的？法官判的，还是人工智能判的？发现错误了算谁的？算法官的，那法官说我冤死了；算人工智能的，那人工智能就可能成了法官“甩锅”的对象。怎么办呢？
第一是要对人工智能作合理的定位。
要明确一点，就是人工智能在司法裁判中永远只能作为一个辅助性工具，绝对不能取代人的裁判。裁判永远是人的事儿，对一个人的生命、自由、财产这些最为重要的权利的剥夺，必须是由人作出的，必须是人的理性的产物，而不能把这种权力交给机器。人工智能在此过程中可以承担一些辅助性的工作，比如类案推送、语音识别，但是最终决定性的裁判权绝对不能交给人工智能。
第二是在人工智能的适用范围上应进行严格的限制。
刑事案件涉及公民生命、自由、财产这种核心利益，那么适用人工智能时就要更严格一些，相关的限制也就要多一些。人工智能一般只能用在司法行政工作方面，在审判中最多提供一些量刑的建议和证据使用的建议。也就是说，我们对人工智能的适用范围要严格设限，别让人工智能的运用替代人的审判，另外，对于人工智能作出的结论也只能供法官参考，法官不能依赖于人工智能。
第三是要加强对公民权利的保障。
在诉讼中，当事人的权利保障，特别是刑事案件中犯罪嫌疑人、被告人的权利保障，是司法公正永恒的主题。特别是在刑事诉讼中，是一场公民个人对抗国家的“战争”。如果没有权利的保障，那么就会出现一边倒的局面，司法中的说理和辩论就很难实现了。在人工智能运用的背景下，司法中对公民的权利保障就应该进一步加强。
首先，我们应当考虑有限的算法公开。其实这是个很复杂的问题，因为算法公开涉及各个方面的利益，比如科技企业就会担心算法一旦公开了，他们的知识产权难以得到保障，进而他们的商业利益就会受损。前面提到，企业逐利是本能，也具有合理性，一味让他们作出让步或者牺牲，既不现实，也会伤害他们的研发动力，不符合市场经济的要求。但是算法公开对于保障公民权利是有利的，通过算法公开，辩方可以质疑算法，反对它作出的结论。这样就需要二者进行平衡，实施有限的算法公开，仅公开其中部分与裁判结果关系最密切的内容，还可以通过与当事人签署保密协议等方式进行算法公开。
其次，要运用专家辅助人制度。司法机关用人工智能，但是当事人没有这个技术能力，为保障控辩平等，就可以通过刑事诉讼法、民事诉讼法规定的专家辅助人制度，让专家辅助人为当事人提供专业的帮助，通过其扮演的更为积极的角色，填平人工智能带来的专业知识方面的鸿沟。
最后，应当赋予当事人一些数据权利。当事人在司法领域中也是数据主体，那么作为数据主体，他们的个人数据被司法机关使用，成为人工智能运行的原料，那么数据主体自身就应当享有相应的数据权利去与司法机关抗衡，包括数据访问权、反对权、更正权、被遗忘权之类的，这些积极主动的权利能够在一定程度上实现对公权力的制约，防止其滥用。
第四是要在司法和企业之间建立一定的隔离。
尽管在人工智能运用的场景下司法辅助性工作的外包已经十分常见了，中央对此也持肯定态度，但是外包之后仍然有必要在司法和技术之间、司法机关和科技企业之间、司法人员和技术人员之间作一定的隔离。
一是人员的分离。司法人员是司法人员，技术人员是技术人员，尽管有合作关系，但不要混同。比如在研发206系统时，科大讯飞派了好多技术人员来法院搞研发，但他们仅仅是技术人员。
二是利益的分离。人工智能运用于司法裁判，国家投入大量资金，这里面就有巨大的利益关系。在这种情况下，要防止司法机关和企业出现利益的混同，特别是在招投标这些环节一定要注意，防止双方勾结侵吞国帑，也要防止某些企业用低技术水平的“伪人工智能”骗钱。
三是职司的分离。裁判权是国家的权力，不能由企业或技术人员去行使，二者要有明显的隔离，防止国家独占的裁判权旁落。
本刊声明
本刊刊文版权包括纸质版与网络版版权，均属于《阅江学刊》编辑部拥有，任何形式、任何媒介的转摘译或结集出版均须标明来源于本刊（详见本刊引文格式）。
欢迎学界朋友或学术媒体推广传播。媒体（网站、公众号等）如有意愿转载，请后台留言或拨打电话025-58731054获得授权，联系人：李老师。
本文引用格式：
段伟文、吴冠军、张爱军、高山冰、韩东屏、孙伟平、程广云、杨通进、何云峰、刘方喜、蓝江、吴静、郑曦、秦子忠、崔中良、赵涛：《人工智能：理论阐释与实践观照（笔谈）》，《阅江学刊》，2021年第4期，第57-60页。
段伟文，吴冠军，张爱军，高山冰，韩东屏，孙伟平，程广云，杨通进，何云峰，刘方喜，蓝江，吴静，郑曦，秦子忠，崔中良，赵涛.人工智能：理论阐释与实践观照(笔谈)[J].阅江学刊，2021(4)：57-60.
责任编辑：李海中
微信编辑：徐逸菡
校对：来向红、沈丹、李海中
作者照片：本刊编辑部提供
文中插图：源自互联网
复审：刘伟
终审：渠红岩
固定布局
工具条上设置固定宽高
背景可以设置被包含
可以完美对齐背景图和文字
以及制作自己的模板