郑曦：生成式人工智能在司法中的运用——前景、风险与规制｜中国应用法学·专题策划

✪ 郑曦‍

北京外国语大学法学院教授、博士生导师

【编者按】近期，由美国人工智能研究室OpenAI开发的全新聊天机器人ChatGPT横空出世，迅速席卷了各行业。今年1月30日，哥伦比亚一名法官借助ChatGPT作出了一份关于自闭症患者免于支付治疗费用而获得医疗服务的法庭裁决，被称为“全球AI审判第一案”。以ChatGPT为代表的生成式人工智能在法律和司法领域中具有广泛的应用前景。随着技术的不断进步，生成式人工智能将帮助律师和法官更好地服务于公众，为法治和司法事业的发展做出贡献。有鉴于此，《中国应用法学》特就“生成式人工智能的司法适用”组稿专题策划。本期特此编发由北京外国语大学法学院郑曦教授撰写的《生成式人工智能在司法中的运用：前景、风险与规制》，该文展望了ChatGPT等生成式人工智能在司法领域的广阔的运用前景，并就其合理运用提出了建议。

*因篇幅限制，注释等有删减，如需引用请参见期刊原文。欢迎个人分享，媒体转载请联系本公众号。

生成式人工智能在司法中的运用：前景、风险与规制

文｜郑 曦

（本文刊载于《中国应用法学》2023年第4期）

—

内容提要： ChatGPT等生成式人工智能对社会生活的许多方面产生影响，带给人们巨大的冲击。在司法领域，生成式人工智能亦有广阔的运用前景，如可用于“示意证据”的生成、诉讼文书的制作等，从而带来裁判方式的变革。然而生成式人工智能在司法中的运用也会带来一些问题，如信息真实性方面的缺陷、裁判方式方面的挑战和数据安全方面的风险等。在此种情况下，应当从防范虚假信息、限制生成式人工智能裁判、保护数据安全等多个层面着手对生成式人工智能进行规制，实现其在司法中的合理运用。

关键词：生成式人工智能  ChatGPT  司法  公正

文 章 目 录

一、问题的提出

二、生成式人工智能在司法中的运用前景

（一）“示意证据”的生成

（二）诉讼文书的制作

（三）裁判方式的变革

三、生成式人工智能运用于司法的风险

（一）信息真实性方面的缺陷

（二）裁判方式方面的挑战

（三）数据安全方面的风险

四、生成式人工智能运用于司法的规制

（一）生成式人工智能司法运用中虚假信息的防范

（二）生成式人工智能裁判的严格限制

（三）生成式人工智能司法运用下的数据安全保护

▐  一、问题的提出

美国OpenAI公司发布的ChatGPT引起了全球轰动，也使得生成式人工智能（Generative AI）成为万众瞩目的焦点。所谓生成式人工智能，是指是一种可以创建各种数据，如图像、视频、音频、文本和3D模型的人工智能系统， 其典型任务涉及生成高维数据，如文本或图像，此种生成式内容也可用于合成数据，以减轻深度学习海量数据的需求。 

生成式人工智能的雏形最早可追溯至1954年，IBM公司在其位于纽约总公司的乔治城-IBM实验中公开展示的机器翻译系统被视为生成语言学的初探。1957年在伊利诺伊大学香槟分校的ILLIACI计算机上，由莱杰伦·希勒（Lejaren Hiller）和伦纳德·艾萨克森（Leonard Isaacson）合作完成的乐谱《Illiac Suite》被视为第一首由计算机创作的音乐作品。1966年世界上第一个聊天机器人“伊莉莎（Eliza）”问世，它能够通过关键字扫描和重组完成交互任务。但是，通过人工智能进行内容创作的早期成功并没有延续，1974-1980年、1987-1993年，人工智能遭遇两次寒冬，直至2014年以生成式对抗网络（GAN）为代表的深度学习算法的提出和迭代更新，才使生成式人工智能的研究得以继续。2018年微软开发的聊天机器人“小冰”能够通过文本界面与人类用户对话，2020年OpenAI开发的Jukebox可用于生成音乐，2021年微软开发的CodeGPT能够完成代码编写、程序修复等代码生成任务。2022年11月至今，生成式人工智能的发展呈现飞速上升的趋势，Meat、OpenAI开发了自己的聊天机器人BlenderBot和ChatGPT，CodeParrot开发了代码生成工具CodeParrot，OpenAI和谷歌开发的DALL-E-2和Image能够利用计算机算法创作艺术作品。同时，国内的生成式人工智能研发也如火如荼地进行，例如科大讯飞研发的讯飞星火认知模型，商汤科技推出的“日日新”大模型体系，复旦大学自然语言处理实验室发布的国内第一个对话大型语言模型，百度发布的“文心一言”大语言模型等。如今，生成式人工智能的应用范畴涵盖文本生成、图像生成、音视频生成等领域，能够进行聊天对话、创作艺术作品、生成原创音乐、完成代码编写和初步的算法设计，并且未来有可能通过利用多模态数据在教育领域取得重大进步。 

生成式人工智能虽具备相当的创造能力、显著的效率和生产力，但其也带来诸多社会风险和法律问题，于是各国政府和国际组织都开始探索相关立法。欧盟隐私监管机构创建ChatGPT工作组，准备迈出生成式人工智能政策制定的第一步。此外，欧盟拟要求开发ChatGPT等生成式人工智能工具的公司披露是否在系统中使用了受版权保护的材料。西班牙数据监管机构AEPD要求将“如何治理ChatGPT”纳入下一次全体会议中进行讨论，以便在GDPR框架内实施协调一致的行动。美国法院作出裁决认为，诸如ChatGPT类的生成式功能的智能产品不应该受到《通信规范法》第230条的保护。意大利对ChatGPT等生成式人工智能的安全性、合法性等表示严重质疑，并且从法律层面严格限制相关技术在本国领域内应用。加拿大隐私专员办公室对生成式人工智能对隐私权造成的影响展开调查，怀疑其未经同意收集、使用和披露个人信息。 

在我国，2022年11月，国家互联网信息办公室审议通过《互联网信息服务深度合成管理规定》，对生成服务的数据收集和技术管理方面提出明确要求。2023年7月，网信办出台了《生成式人工智能服务管理暂行办法》，全文共24条，从生成式人工智能的管辖范围、相关主体的合规义务及责任、安全评估及算法备案、数据来源、用户信息和投诉接受处理机制几方面开展全方位综合治理。

除了官方的积极行动外，学者们亦对生成式人工智能带来的法律问题产生了浓厚的研究兴趣。国外学者们的研究则主要围绕以ChatGPT为代表的生成式人工智能的风险类别和级别、 对律师的影响、 版权争议、 侵权责任追究 等问题展开。我国关于生成式人工智能的研究则呈现明显的阶段性特征。通过中国知网（CNKI）进行关键词检索，2017年至2022年上半年相关学术研究集中在探讨人工智能生成物的知识产权问题上；2022年下半年至今，相关研究呈现百花齐放的态势，涵盖生成式人工智能风险治理、 类案裁判、 数据安全、 责任承担、 主体身份、 法律规制 等方面的内容。

然而，目前的立法主要是从规制生成式人工智能的一般规则展开的，相关的研究亦未重视司法这一特殊场景下运用生成式人工智能的问题，这一点在笔者与ChatGPT的对话中就可见一斑。笔者曾问ChatGPT：“ChatGPT与司法有何关系？”ChatGPT答曰：“ChatGPT是一个基于GPT模型的AI对话工具，与司法没有直接的关系。”由于ChatGPT是从海量的语言数据或文本数据中获得学习和训练的，它的回答正反映了人们对于生成式人工智能与司法之间关系认识不足的现实。

事实上，生成式人工智能并非与司法毫无关系，随着数字司法、智慧司法改革的推进，包括生成式人工智能在内的各类人工智能工具在司法领域的运用必将越来越常见，其介入程度也将越来越深刻，在此种背景下研究生成式人工智能运用于司法的特殊问题就显得非常必要。具体而言，应当至少回答以下几个问题：一是生成式人工智能在司法领域的运用前景如何？是否对司法的运行产生影响或改变？二是生成式人工智能运用于司法是否与既有的司法制度发生冲突？是否可能带来某些风险或问题？三是倘若存在这些风险或问题，是否可以采取某些措施降低风险、解决问题，促进生成式人工智能在司法领域的依法、健康运用？本文拟针对上述三方面问题展开论述，以探索生成式人工智能与司法和谐共处、共赢之可能路径。

▐  二、生成式人工智能在司法中的运用前景

生成式人工智能在社会生活中的运用是全方位的，作为社会生活一部分的司法自然也不可能例外。从生成式人工智能的技术原理看，其在司法领域有广阔的运用空间，如可以用于“示意证据”的生成、诉讼文书的制作等，从而改变了诉讼和裁判的方式。

（一）“示意证据”的生成

“示意证据”是一个英美法上的概念，是指为解说原证据或者案件情况而出示的可视材料， 故而又被成为“展示性证据（Demonstrative Evidence）”。示意证据以模型、地图、照片、X光片、模拟案发现场的动画或者组合所有证据的PPT等 方式对言词证据或实物证据进行展示，以发挥“辅助作用” ，从而便利裁判者对原证据的理解。然而由于示意证据既不来源于案件，本质上又不是“真正的原物”或“实在的东西”，而仅仅用作演示、说明或解释目的，是视觉或听觉的辅助材料， 是作为证据的展示方式而在司法中得以运用的。需要注意的是，既然证据的展示方式不等于证据本身，对证明案件事实的辅助性作用亦不等同于证明本身，那么就不应当将示意证据理解为作为案件事实证明材料的“证据”。但为便于理解，本文在此处仍使用示意证据这一已为普遍采用的名称。

作为证据展示方式的示意证据在司法中的运用十分常见。在英国的一个刑事案件审判程序中，控方依据CT和X光扫描的数据，使用3D打印技术制作出被害人的头骨模型，向裁判者解释本案中的医学问题，以证明被害人的头部损伤与本案的关系。而在美国的瑟奇案的审判中，控方用计算机生成动画（Computer-Generated Animation）展示案发时现场的情况、被告人和被害人的位置、射击的方向和轨迹等。我国的司法实践中亦常有示意证据的运用，如在北京市第一中级人民法院审理的一起案件中，控方以“出庭示证可视化系统”用VR技术演示被告人持刀刺杀被害人的案发过程。通过示意证据的运用，一方面便利了控方的举证，尤其当证据复杂、零散或繁琐时，使用示意证据能提升举证的效率和效果；另一方面也能协助裁判者完成认证工作，便利其对证据的分析和理解。从这个意义上看，司法实践中的示意证据运用具有提高诉讼效率和促进案件公正审理的功效。

而生成式人工智能技术的发展，尤其是其适用于司法领域后，将进一步促进示意证据在司法中的运用，具体而言包括但不限于以下几种情形：一是以生成文本的方式展示证据，即通过对证据的分析整合，形成特定形式的文本，并以此帮助司法人员理解案件的基本情况。二是以生成图形的方式展示证据，目前生成式人工智能在现有艺术品的大数据集上进行训练，已经具备了模仿某一艺术家风格作品或创作新艺术风格作品的能力，因此在以图形方式实现示意证据在司法中的运用方面并无任何技术障碍，例如制作数据可视化图表、流程图、地图、关系图等，实现示意证据提升证明效果的作用。三是以生成音频、视频的方式展示证据，生成式人工智能可以结合语音合成等技术将证据转化为语音或视频输出，以便使司法人员听取证据。四是以生成模型的方式展示证据，根据其所收集的数据，生成式人工智能可以制作出特定模型以便司法人员直观地观察和理解证据，例如上文所述的英国案件中，控方利用CT和X光扫描数据制作模型以证明损伤与本案的关系，此种工作即可以由生成式人工智能完成。五是以生成数字空间的方式展示证据，生成式人工智能与元宇宙技术相结合，使得此种数字空间展示证据的可能性大大增强。

（二）诉讼文书的制作

人工智能工具被用于制作诉讼文书早已不是什么新鲜事，甚至可以说辅助制作或自动生成诉讼文书几乎是司法领域运用人工智能的最早场景之一。美国律师诺瑞·巴彻（Noory Bechor）和人工智能专家依兰·阿德蒙（Ilan Admon）合作开发的LawGeex法律文书书写审查系统可以对法律合同等文书进行审查和制作， 欧盟国家法院也早已运用人工智能裁判文书制作工具。在我国，智慧法院系统和数字检察办案辅助系统中也多有诉讼文书制作的功能，例如北京法院推出的“睿法官”系统即有裁判文书自动生成的功能，其以自动生成裁判文书服务为主，使裁判文书编写效率提高80%、裁量要素覆盖95%以上。当前用于制作诉讼文书的人工智能工具，大多是判别式的，其以自然语言处理（NLP）、HAN模型、深度金字塔卷积模型（DPCNN）为技术路径，能够较好地提升诉讼文书制作的效率和准确性。

然而相较于判别式人工智能以对数据分类判别、学习函数而后将数据映射于预定义类别中的技术逻辑，生成式人工智能是基于概率模型的人工智能技术，其基本逻辑是通过数据训练学习潜在分布规律而形成新数据的。因此运用生成式人工智能制作诉讼文书，可以基于已有之法律规定、先前判决和本案证据，通过提取关键事实和证据，参照法律规定和先前判决，生成诉讼文书的主体内容，再根据法律规定的形式要求制作符合规范的诉讼文书。如此一来，相较于判别式人工智能，生成式人工智能更具有主动性和创造性，由其自动生成符合法律规定和个案需求的诉讼文书，不但大大提升诉讼文书制作的效率，也能有效减轻司法人员、律师等的工作负担，从而进一步提升人工智能工具制作诉讼文书的效率和效果。

当前使用生成式人工智能制作诉讼文书甚至裁判文书已经并非只是一种想象，其至少可以在以下两个层面上辅助甚至代替司法人员或诉讼参与人制作诉讼文书。一是通过数据整合辅助司法人员或诉讼参与人制作诉讼文书。生成式人工智能可以通过海量的法律规定、判例等数据进行训练，利用自然语言处理技术分析相关材料，并对其所掌握的数据进行整合，进而以生成文本、推送类案、分析判断证据等方式协助司法人员或律师等完成诉讼文书的制作。二是通过模型创设辅助甚至代替司法人员或诉讼参与人制作诉讼文书。通过学习和训练，生成式人工智能可以创设出某种制作诉讼文书的模型，并以此为基础协助司法人员或诉讼参与人制作诉讼文书，甚至直接生成诉讼文书。如此一来，制作诉讼文书的难度及成本因生成式人工智能的运用而大大降低，案件办理的效率亦能因此得以有效提高。

（三）裁判方式的变革

关于人工智能在司法领域的运用是否会导致裁判方式的变革、甚至产生“人工智能法官”的讨论由来已久， 但生成式人工智能运用于司法似乎加速了此种变革的到来。2023年1月，哥伦比亚法官胡安·曼努埃尔·帕迪拉·加西亚承认其用ChatGPT撰写了一个涉及自闭症儿童医疗保险费用支付的判决，在该案中针对保险公司提出的并非所有与自闭症治疗相关的费用均属医疗费用，故不应由保险公司全部承担的抗辩，法官在已初步形成裁判意见之后与ChatGPT 进行了讨论，参考ChatGPT 的意见法官判决保险公司承担与治疗自闭症相关的所有费用，并将其与ChatGPT的对话在判决书中进行了引用。2023年3月，印度旁遮普邦和哈里亚纳邦的一个法院在审理谋杀案的被告人是否可以获得保释的问题时向ChatGPT最新版本GPT-4询问“被告人残忍伤害他人而获保释的法律依据”，而ChatGPT回答保释需考虑犯罪的严重性、被告人的犯罪历史、案件的证据强度等，在参考ChatGPT的意见后，法院拒绝了被告人的保释申请。这两个案件引发了广泛的关注和争论，对于法官参考ChatGPT意见的做法既有支持者也有反对的声音，但生成式人工智能进一步介入司法裁判已是无法阻挡的潮流。

生成式人工智能的运用所带来的裁判方式变革将主要体现在以下几个方面：一是裁判权的割让。传统上，裁判权由法官独占是诉讼的基本原理，但人工智能特别是生成式人工智能在司法领域的运用改变了此种样态。例如在前述两个案件中，法官通过咨询ChatGPT而确认其初步的裁判意见或形成最终裁判结论，使得ChatGPT在相当大的程度上成为实质的裁判者。在这些案件中，ChatGPT等生成式人工智能对于案件最终裁判结论的作出有了极大的话语权和决定权，甚至可以说其已经获得了从人类法官处所割让的部分裁判权。于是即便日后出现了这样的一种场景也并非不可能，即“慵懒的法官+高度先进的生成式人工智能=裁判权的拱手让与=人工智能法官的正式登场”。尽管这样的裁判权由生成式人工智能独占的场景短期内未必能够立刻出现，但生成式人工智能从人类法官中分得裁判权的“一杯羹”已在前述案件中成为现实，且基于提高诉讼效率、实现精准量刑 等因素的考虑，这种情况很可能变得越来越常见。

二是裁判逻辑的变化。大陆法系传统下法官以形式逻辑作为裁判的基础，即根据三段论的思维方式，以法律的规定为大前提、具体的案件事实为小前提，得出该案件事实所产生的法律效果即裁判结论。这种演绎逻辑的基点在于，“不管是出于理智分析还是人的意愿，法似乎是由制定出的全部规则构成的，其适用就是简单的演绎。从构成法律制度的基本原则中可以推演出法律规则。从法律规则中又可以通过一系列的三段论得出司法决定”。而生成式人工智能介入审判并分享裁判权后将对此种演绎式的裁判逻辑进行改造，通过数据的深度学习与挖掘、人机协同模式的建立等方式实现交互式的裁判，从而对原有的裁判逻辑形成冲击，降低三段论式演绎推理在裁判结论形成过程中的作用。

三是裁判依据和说理方式的改变。裁判说理是提升裁判可接受度、保障司法权威的重要途径。传统上，法官在作出裁判决定的同时，还需要在裁判文书中详细说明其作出裁判所依据的法理、法理规定、证据等，以论证其裁判决定的合法性。然而生成式人工智能的运用改变的此种说理方式，例如前述发生在哥伦比亚和印度的案件中，法官将ChatGPT的意见作为裁判的直接依据，而归根结底看，其依据来源于ChatGPT对海量数据的深度学习和发掘。这种全新的裁判依据和说理方式的引入，是否能得到民众的接受，是否能回归裁判说理提升裁判可接受度和保障司法权威的本初目标，目前尚有疑问，仍需经过较长期的实践考验。

▐  三、生成式人工智能运用于司法的风险

生成式人工智能的技术原理既决定了其在司法领域的运用具有广阔前景，也导致其可能带来一系列的问题，例如生成式人工智能可能带来信息真实性方面的缺陷、裁判方式方面的挑战和数据安全方面的风险，对此应有充分的警惕和认识。

（一）信息真实性方面的缺陷

生成式人工智能的技术特征决定了其容易混淆虚假信息和真实信息的边界，从而导致真实性方面的缺陷。倘若将生成式人工智能运用于司法，一旦不真实的信息影响案件裁判，将对公民生命、财产、自由等重大法益造成巨大影响。具体而言，生成式人工智能运用于司法的真实性缺陷主要体现在以下几个方面。

第一，语料真实性问题。生成式人工智能是从海量数据中收集整理语料的，这些主要来自网络世界的数据本身来源和质量就难以把控，可能是不完整、不准确甚至是完全虚假的，而生成式人工智能本身亦存在局限，难以对这些数据进行真实性方面的甄别，也常无法在特定语境下对数据的特定含义作出准确理解。正因如此，网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》中尤其强调生成式人工智能提供者预训练、优化训练数据时应保证数据的真实性、准确性。运用于司法领域的生成式人工智能同样存在这方面问题，其从广袤的网络世界提取整合的数据的真实性难以保障，可能带来语料真实性方面的风险。

第二，垄断风险问题。目前基于技术保密等原因，生成式人工智能存在技术垄断的问题，尤其是商用生成式人工智能的提供者如OpenAI拒绝开源，导致语料库、算法等均为少数企业或机构所垄断掌握。另外生成式人工智能的开发需要巨大的资金投入，中小企业通常无力负担此种成本，从而使得技术更集中于少数企业和机构。倘若这些具有技术垄断优势的企业或机构本身存在某种偏见或倾向，则可能在生成式人工智能的算法中注入此种偏见或倾向，一方面带来歧视性的错误可能，另一方面也限制生成式人工智能基于准确数据通过训练纠偏。在司法运用的场景下，具有技术垄断优势的企业或机构还可能利用其垄断技术，通过封闭秘密的算法在不为人所知的情况下刻意影响裁判的结论，以谋取商业或其他方面的利益。

第三，模型的数据偏差问题。生成式人工智能大模型的训练依赖于海量的数据，而这海量数据主要来源于互联网。但问题在于，互联网的数据虽然丰富，但其丰富并不均衡，受到不同国家、文化是否强势的现实影响。例如由于在互联网技术方面的先发优势，西方社会主导了互联网数据的形成逻辑和表达方式，而亚非拉国家在数据产出、存储、维护等方面则劣势明显。再如由于英语的文化强势地位，互联网上由英语语言产生的数据远远多于其他语种如俄语、法语、德语，其他小语种更难以比拟。在此种情形下，生成式人工智能模型的数据偏差就会带来其信息输出时的真实性问题，甚至带来意识形态、思维方式的固有成见，一旦运用于司法则可能导致裁判结论的偏差。

第四，输出信息误导性问题。由于存在前述的语料真实性、垄断风险、模型数据偏差等问题，生成式人工智能输出错误信息的情形十分常见。以ChatGPT为例，许多用户反映其输出结果常是“一本正经地胡说八道”，笔者在试用ChatGPT也曾发现此种现象，例如输入“简介北外法学院”，其给出的介绍称北外法学院成立于2005年，若非熟悉北外法学院者绝难发现此间错误，即北外法学院实际成立于2006年；另外ChatGPT还会刻意迎合用户，当用户以不同方式、语气就同一问题提问，ChatGPT可能给出不同的回答或对回答进行调整。生成式人工智能的此种输出信息错误性风险一旦发生在司法领域，就可能误导司法人员的办案方向，甚至增加错案发生的可能性。

（二）裁判方式方面的挑战

既然如前所述，生成式人工智能在司法中的运用，在一定程度上分享了人类法官的裁判权，甚至在未来有可能导致AI法官的出现，继而改变裁判的逻辑、依据和说理方式。这必然对既有的诉讼制度造成巨大的冲击，与传统的审判理论和原则发生冲突，从而导致一些重大挑战。

第一个层面的挑战来自生成式人工智能作为实际意义上的法官是否可以被接受。与其他类型的人工智能工具一样，生成式人工智能在本质上是去价值化的，具有以普遍性、非人格性为特征的形式合理性品格， 但是同时又是冰冷的、机械的、无情感的。但是人类社会生活是复杂的，由此产生的纠纷也是多样的，在一些案件中不但需要法律的运用，还需要情感的投入。例如，美国80岁“网红法官”弗兰克·卡普里奥（Frank Caprio）的裁判总是能打动人的内心，就是因为他在法律规范之外还考虑人的情感；而在美国体操队“恶魔队医”拉里·纳萨尔性侵案中法官阿奎利娜对被害人们“把你们的痛苦就留在这里，去外面追逐你们的辉煌” 的鼓励也受到人们的普遍赞誉。我国法律传统下也要求裁判者在审判时，既尊重法律规定，也考虑天理、人情。面对这样的需求，缺乏人性的生成式人工智能无法实现对案件中蕴含的情感、伦理的判断，其作出的裁判亦可能偏离社会大众对于司法正义的一般理解，从而难以被民众所接受。

第二个层面的挑战来自如何保证生成式人工智能的公正性。保障司法公正的重要抓手在于司法的公开，所谓“阳光是最好的防腐剂”，各国对司法程序都有公开的要求，我国亦然，既有关于诉讼程序形式公开的规定如证据开示、审判公开等，也有关于裁判过程实质公开的要求如法官心证公开等。然而生成式人工智能参与或享有裁判权，却可能与此种公开性的要求发生矛盾，因出于技术保密、商业利益等方面的考虑，生成式人工智能的算法往往是封闭、秘密的，不但当事各方无法了解其是如何得出结论的，甚至法官也对此一无所知。如此一来，封闭秘密的裁判结论形成方式带来了“算法黑箱”的风险，违背司法公正的漏洞也随之出现。例如，生成式人工智能的技术研发者倘若存有某种“固有成见”或歧视性观念，可能将对某些少数族裔、特殊人群的歧视观念融入算法中，从而在案件审判中发生偏离公正的结果。或者，技术开发者可能将其对商业利益的追求体现在算法中，从而在日后涉及自己或本行业的案件中获得有利的裁判结果。

第三个层面的挑战来自如何分配错误裁判的责任。一旦出现错误裁判，传统上应由作出裁判的法官承担责任。但是在上文所述的生成式人工智能分享裁判权的场景下，既然裁判是由生成式人工智能参与或主导作出的，那么根据“让审理者裁判、由裁判者负责”的司法责任制原则，是否应当由生成式人工智能与人类法官分担责任、或者主要由生成式人工智能来承担责任？例如在上文所述的哥伦比亚和印度的两个案件中，既然法官不过是采纳了ChatGPT的意见而作出裁判，倘若裁判结果确实发生了错误，是不是就应由ChatGPT来承担错案责任呢？然而遗憾的是，按照这种思路推导的结果是，或者由于ChatGPT等生成式人工智能不具有法律主体的资格而无法承担责任，或者ChatGPT等生成式人工智能成为人类法官推卸责任的“甩锅”对象。而无论哪种情况的发生，都将使错案责任追究的相关规定因无法执行而被架空，也使司法责任制保证法官尽职勤勉、预防错案发生的目标难以实现。

（三）数据安全方面的风险

数字时代下，技术和科学在司法体系中的背景变换，不但带来如何在具体案件中明智适用教义的挑战， 更带来了司法领域数据安全的风险，例如司法数据库的“互联互通”与“共建共享”增加了数据失控的可能，司法信息化的技术性工作外包增加了数据泄露的机会等。而生成式人工智能运用于司法，非但没有降低、反而加剧了此种数据安全方面的风险，具体表现在以下三个方面。

第一，生成式人工智能使得获取专业知识和技能的能力降低，反使司法领域的数据安全风险增高。例如，传统上发动网络攻击需要特定的专业知识和技能如代码编写等，但ChatGPT等生成式人工智能具备无代码编程能力，使得不具备代码编写的人群亦具备进行网络攻击的能力，从而可能导致更多数据安全事件的发生。在这样的背景下，司法体系内的各类办案系统、平台等遭遇攻击的风险也大大增加。司法实践中我们常见部分对案件裁判结果不满的当事人或存有其他不法目的之人以违法信访、冲击办案场所等方式发泄不满、实施报复或谋取经济、政治利益，但随着ChatGPT等生成式人工智能的普及，我们可以想象这些人可能利用生成式人工智能，采取网络攻击等成本更低、更为“简便易行”的方式对司法系统进行攻击，对于此种风险我们应抱有足够的警惕并未雨绸缪地做好准备。

第二，生成式人工智能的司法运用，使得司法领域的数据被其收集，增加了数据外泄和被非法利用的风险。用户在使用ChatGPT等生成式人工智能时需要向其上传数据或与其对话，在此过程中生成式人工智能同时也把这些数据或对话内容作为其语料来源，进行数据收集、用户画像、模型训练等工作，并可能在未来使用这些数据。同样在司法领域，生成式人工智能的运用也意味着司法领域的办案人员特别是法官需要向其提供数据，例如前述的案件中，哥伦比亚和印度的法官们为寻求ChatGPT的咨询意见，均需与ChatGPT进行对话甚至上传部分案件数据。ChatGPT等生成式人工智能在从司法体系中掌握了这些数据之后如何进行后续处理，这一问题已然完成超出法官或其他司法人员的可控范围。于是这便带来了司法领域数据外泄和被非法利用的风险，不但可能给当事人带来隐私和安全方面的威胁，而且当此种数据为国家核心数据或重要数据时，或在数据累积到一定程度时，甚至可能对公共安全和国家安全造成重大影响，兹事体大，不可不慎。

第三，生成式人工智能在司法中的运用还带来数据出境方面的安全风险。传统上基于国家主权和数据安全的考虑，数据存储有本地化的要求，数据出境则需要经过严格的安全评估等审批程序，例如我国网信办就出台了《数据出境安全评估办法》，对数据出境的安全评估工作作了细致规定。在司法领域亦应如此，司法领域的数据可能涉及国家、社会和公民的多重利益，其出境事关重大，稍有不慎可能导致严重后果，因此需符合法律的规定方可施行。例如，在国际刑事司法协助的场景下，刑事数据出境要以个案请求的方式通过《中华人民共和国国际刑事司法协助法》等法律规定的司法协助途径或按照刑事司法协助双边条约或协定的要求完成。但当生成式人工智能运用于司法时，由于其服务器散落于各国，使用的数据亦超越国境界限，则使得司法领域的用户与其进行的数据交互也往往是跨境的。如此一来，生成式人工智能的司法运用就使得数据本地化存储、出境评估和审批等规则难以实施，从而增加数据出境方面的安全风险，甚至给国家主权和安全带来威胁。

▐  四、生成式人工智能运用于司法的规制

面对生成式人工智能司法运用所带来的前述风险，应从积极防范虚假信息、严格限制生成式人工智能裁判、努力保护数据安全等方面着手，趋利避害，实现生成式人工智能与司法的相互促进和相互成就。

（一）生成式人工智能司法运用中虚假信息的防范

针对上文所述的生成式人工智能语料真实性、垄断风险、模型数据偏差、输出信息误导性等方面的问题，为对其进行有效的内容监管，尤其是防范其司法运用中以虚假信息影响裁判公正性，应从两个角度展开治理。

一是对生成式人工智能的提供者科以义务。为保障信息的真实性，对人工智能工具的提供者科以更为严格的监管义务是常见的做法。《生成式人工智能服务管理暂行办法》中就有大量此类内容，例如要求生成式人工智能产品或服务的提供者保证利用生成式人工智能生成的内容真实准确，并采取措施防止生成虚假信息；提供者用于生成式人工智能产品的预训练、优化训练数据应保证数据的真实性、准确性；生成式人工智能产品研制中采用人工标注时应抽样核验标注内容的正确性。对于运用于司法的生成式人工智能，同样应有上述义务的要求，除此之外，还可以要求提供者在人工智能生成内容中添加必要标识，或如OpenAI目前针对ChatGPT所设置的人工过滤机制，对存在高度错误可能或敏感的信息提供警示或拒绝生成，以确保信息的真实性。

二是对使用生成式人工智能的司法人员进行必要的提示和培训。除要求生成式人工智能提供者就存在高度错误可能或敏感的信息进行提示外，司法机关亦应主动采取措施对司法人员进行生成信息错误可能性的提示，例如设置专门的信息核查机制、安排特定人员对风险较高的信息内容进行审核，并对可能存在错误的内容进行标记，以防止司法人员的误用以及错误裁判的作出。此外，还可能对相关司法人员就生成式人工智能内容真实性问题展开定期或专项培训，从而提升司法人员辨别信息真实与否的能力，防止其受到生成错误信息的误导。

（二）生成式人工智能裁判的严格限制

如上文所述，生成式人工智能以实质意义上的裁判者身份对案件作出裁判，可能导致其法官角色和裁判结果难以被公众所接受、因算法封闭秘密而损害司法公正性、错案责任难以分配等方面的挑战，故而应针对这几方面的问题，对生成式人工智能裁判方式进行严格的限制。

其一，生成式人工智能在裁判中的定位。恰如上文所言，案件的裁判不但需要工具理性，也需要价值理性和情感投入，这就使得裁判从本质上看是人的工作，即便生成式人工智能也不能在司法中代替人类法官的裁判职能。在这个意义上看，应当对生成式人工智能分享法官裁判权的可能性抱有充分警惕，坚定地将其做两方面的定位：一是深刻认识生成式人工智能的工具属性，从而对其作为工具所具有的天然缺陷有充分预期；二是在可预见的相当长一段时间内，仍应将生成式人工智能定位为司法辅助性工具，即使用此类工具的目的在于辅助裁判工作的完成而非取代法官的裁判职能。对此，最高人民法院在2022年发布的《关于规范和加强人工智能司法应用的意见》中就明确了人工智能的辅助审判原则，要求坚持人工智能对审判工作的辅助性定位，人工智能辅助结果仅可作为审判工作或审判监督管理的参考，并强调无论技术发展到何种水平，人工智能都不得代替法官裁判，从而确保裁判职权始终由审判组织行使。此种认识符合司法权运行的基本原理，为人工智能的司法运用作出了明确而准确的定位，有利于保障依法运用人工智能工具。这一规定同样适用于生成式人工智能的司法运用，除非未来人工智能的发展导致人类的生活方式发生根本性的变化，否则就应当继续予以坚持。

其二，明确错案责任的承担方式。既然明确了生成式人工智能在司法中运用时的辅助性工具定位，不应代替法官裁判，案件的裁判者仍应是人类法官，则错案如何承担的问题也就迎刃而解了。错案责任承担的基本规则是谁裁判谁承担，即“让审理者裁判、由裁判者负责”，当法官向ChatGPT等生成性人工智能进行案件咨询时，其仍牢牢掌握着案件裁判权力，则一旦发生错案，其责任即由法官承担。恰如《最高人民法院关于规范和加强人工智能司法应用的意见》第5条所明确指出的“司法责任最终由裁判者承担”，这一点在生成式人工智能司法运用的场景下亦然。

其三，算法透明性和可解释性的提升。针对上文所述的生成式人工智能“算法黑箱”导致裁判公正方面的风险，可以通过算法透明性和可解释性的提升在一定程度上予以化解。一方面，算法透明性要求算法编写者开放源代码以使其得以被检验，从而防止算法中可能存在的“固有成见”或歧视性风险。另一方面，算法可解释性要求算法的运算过程和结果能够向用户等解释并为人所理解，从而进一步防范出现错误、偏离等的可能。通过算法透明性和可解释性的提升，“算法黑箱”给司法公正带来的威胁将被弱化。但是需要指出的是，针对生成式人工智能的算法透明性和可解释性的要求并不容易实现。一来基于商业利益、知识产权保护等方面的考虑，开源需要付出巨大的成本，这也是目前商业性生成式人工智能常拒绝开源的原因。二来生成式人工智能可解释性较差，因其生成过程和结果复杂且难以控制，对其解释难度也随之增加。面对此种现实，需要更有策略地开展这两方面的工作，如实施有限开源、引入专家等，解决生成式人工智能运用带来的司法公正方面的疑虑。

（三）生成式人工智能司法运用下的数据安全保护

生成式人工智能运用于司法，可能带来上文所述的数据安全方面的风险，因此应当采取有效措施予以防范，以实现生成式人工智能在司法领域的安全运用。

一方面，应以数据分类分级为基础规范司法人员与生成式人工智能的数据交互。数据分类分级是数据安全保护的基本前提，非此不足以重其所重、轻其所轻地有区分地开展数据处理活动。在生成式人工智能运用于司法的背景下，为实现数据安全风险的预先防范，亦有必要对相关数据进行分类分级，并在此基础上规范司法人员与生成式人工智能的数据交互。所谓数据分类，是以“属性”为标准而根据数据的内容、来源、特征、作用等进行的划分，而数据分级则是以“后果”为标准而根据数据所承载的法益大小、以及其一旦被非法处理可能导致的法益损害后果之大小而进行的划分。据此，从横向看，可以将司法领域的数据分为政务数据和个人数据、涉密数据和非涉密数据，从纵向看，可以参考《中华人民共和国数据安全法》第21条之规定而分为国家核心数据、重要数据和一般数据。当司法人员基于案件办理之目的运用生成式人工智能需要向其提供数据时，应当根据数据分类分级进行规范，例如应当严格禁止向生成式人工智能提供国家核心数据，对于重要数据的提供应有必要的审核流程，并做适当处理如进行匿名化。如此根据数据分类分级确定不同的数据交互规范，一则可以降低相关数据被生成式人工智能收集后再做非法处理所带来后果的严重性，二则针对生成式人工智能服务器常在国外、数据本地化存储和出境评估规则难以实施的现实，也同时降低了数据出境失控带来的风险。

另一方面，应提升司法办案平台防御网络攻击的能力，具体而言，应当从技术和人两个层面着手展开此种能力提升建设。技术层面的能力提升，主要是指以技术手段增强对高级可持续威胁（ATP）等网络攻击行为的防范能力并及时识别和阻断入侵行为以实现主动防御。例如，通过对办案平台进行更新、升级，使用自动化工具支持系统、配置、漏洞、补丁、病毒库等的管理并进行及时的处理，在不同安全等级的网络系统之间设置边界巡查软件以进行数据交换的严格控制，设置自动检测、预警、查杀、处置的工具等。人的能力提升，是指通过管理制度、组织架构、人员素质的完善，提升司法办案平台防御网络攻击的能力。例如，制定适合司法办案平台的数据安全保护计划、建立数据安全审计制度、设置数据安全管理机构、确定数据安全具体责任人员等。此外尤其应当重视对司法人员进行数据安全知识的培训和宣传，提升其在日常工作中保护数据安全的意识，特别是提升其运用包括生成式人工智能在内的各类数字化工具时审慎处理数据的意识，以应对生成式人工智能应用于司法带来的数据安全方面的风险和挑战。

但需要注意的是，强调数据安全并不意味着走向另一极端，即不应一味以数据安全保护为借口排斥或禁止生成式人工智能在司法领域中的运用。因为一方面，在面对生成式人工智能运用于社会生活各个方面这一浩浩荡荡的时代潮流时，人为地对其运用于司法加以阻拦不免让人有螳臂当车之感；另一方面，主动适应时代趋势、迎接挑战，并通过实践运用积极提升自身抵御风险的能力，才是保护数据安全的最佳出路。因此面对生成式人工智能的司法运用趋势，应既重视数据安全保护，也保持开放适用态度，实现工具与司法在法治化框架内的良性互动。

编辑：周维明

排版：覃宇轩

审核：杨   奕

往期回顾
REVIEW


《中国应用法学》是国内专注法律应用和审判理论研究的学术期刊，由最高人民法院主管，中国应用法学研究所主办，2021年入选CSSCI来源期刊扩展版目录，2022年入选中国人文社会科学核心期刊目录。办刊宗旨为：对司法实践问题及司法体制改革进行深入探讨，反映司法实务的最新动态和研究方向。围绕司法实践中的前沿问题，聚焦与司法应用有关的、社会性的、实证性的和冲突性的研究成果，立足高端、关注热点、把握前瞻、彰显权威、引领变革，努力打造理论法学成果向应用法学成果转化的高端研究平台。主要栏目包括："习近平法治思想研究"“高端论坛”“本期特稿”“权威解读”“专题策划”“法学专论”“涉外法治研究”“法律评注”等。

《中国应用法学》投稿网站：

https://zyyf.cbpt.cnki.net/

《中国应用法学》订阅邮箱及二维码：

[e-mail]

刊号：CN10-1459/D.

订刊电话：[phone]

订刊传真：[phone]（刘老师）