吴大奎｜基于生成式人工智能服务风险的分级法律规制研究

基于海量数据、先进算法和雄厚算力构建出的生成式人工智能服务一经出现，便给社会各行各业带来极大的变化。过往法律零散地对生成式人工智能服务产生的风险进行回应式规制，具有滞后性，不能及时的应对各种风险。而最近出台的针对生成式人工智能服务的一系列针对性法律规制，又对生成式人工智能服务的风险分级类别、依据、后果规定得不够细致，无法引导生成式人工智能服务兼顾发展与安全。因此以现有立法为基础，综合国外立法经验和国内学者观点，从生成式人工智能服务的“基础模型-专业模型-服务应用”的现实风险出发，厘清生成式人工智能服务风险分级的种类、依据及后果，为生成式人工智能服务在法治轨道上发展提供法律规制指引。

一、引言

生成式人工智能服务的代表——ChatGPT是美国OpenAI实验室开发的一款提供对话交互服务的应用，其凭借着海量的语料库和先进的算法模型，给用户带来了仿佛与真人对话一般的体验。近来，众多生成式人工智能服务井喷式涌现，给人们带来了工作学习方面的诸多便捷。但是与此同时，以ChatGPT为代表的生成式人工智能服务也在国家安全、社会舆情、个人信息等诸多方面产生了安全隐患问题。积极立法应对生成式人工智能服务在网络空间中带来安全隐患问题，既是党和人民的共同期盼，也是顺应国际形势的潮流。具体而言，生成式人工智能服务在训练基础模型过程中使用海量数据，可能对国家数据安全、社会舆情、个人信息安全造成危险；生成式人工智能服务在建设算法模型的过程中，由于代码的自动迭代导致算法透明度低，可能产生侵权行为发生后责任划分困难的风险；生成式人工智能服务的服务应用端可能由于自动收集用户生成内容，出现隐私泄露，超出最小限度收集个人信息的问题。目前我国也就生成式人工智能服务出台了《生成式人工智能服务管理暂行办法》，但还是存在相关概念不清、立法理念不明、规制措施不具体等问题。目前中国国内学者对于生成式人工智能服务的治理路径观点大致分为三类，一类学者认为规制生成式人工智能服务需要法律法规提出针对生成式人工智能每一项可能风险的具体解决措施；另一类学者认为规制生成式人工智能服务首先要提出与技术相关的各项法律原则；还有一类学者认为针对生成式人工智能服务的不同层级需要采取不同的规制模式。本文将在第三类学者的研究基础上，通过梳理国内国外生成式人工智能相关立法，吸纳学界相关研究观点，秉承国家对于新兴技术持有的发展与安全并进的理念，基于生成式人工智能的风险提出分级规制措施。

二、生成式人工智能服务的机制、特点及风险

规制生成式人工智能服务，首先需要了解生成式人工智能的运行机制并总结生成式人工智能服务的特点，从而明确生成式人工智能服务可能会产生哪些风险。

（一）生成式人工智能服务的机制

根据OpenAI官网的描述，生成式人工智能的产生（以ChatGPT为例）分为四个阶段，包括：（1）给生成式人工智能提供训练数据帮助其构建模型。（2）进行人工标注，引导生成式人工智能模型向人类期待的方向作答。（3）通过人工对GPT生成的多个答案进行排序建立奖励模型。（4）将GPT的生成结果再投入模型，实现模型的不断迭代优化。可以将生成式人工智能服务的产生大致总结为三个层面：（1）通过各种途径收集大量数据构建基础模型阶段。（2）通过人工标注和奖励模型构建算法模型阶段。（3）通过服务端生成内容反馈迭代优化阶段。

（二）生成式人工智能服务的特点

生成式人工智能服务（以ChatGPT为例）的智能由两方面产生，一方面是利用一个叫“转换器”的基于神经网络的深度学习模型对用户的提问文本和海量语料进行概率性匹配分析，从而使得计算机生成结果接近自然人语言；另一方面是通过“人类反馈强化学习机制”和一个叫“生成式对抗网络”的深度学习模型，让人类和人工智能自身对用户提问和人工智能生成结果做出正面和反面的评价，从而推进人工智能不断迭代优化。据此，本文总结出了生成式人工智能服务具有的三个特点：（1）生成式人工智能服务的生成结果具有随机性，生成式人工智能服务需要依靠海量数据进行预训练才能提高生成结果的真实性和准确性。（2）生成式人工智能服务具有反馈性，生成式人工智能服务的迭代优化需要人工标注者和用户不断反馈。（3）生成式人工智能服务具有人机交互性，生成式人工智能服务智能的展现一方面离不开强大的算力整合海量数据进行预训练，另一方面也需要人类参与人工标注和生成内容反馈，从而使服务不断迭代优化。

（三）生成式人工智能服务的风险

基于生成式人工智能服务的运行机制和特点，生成式人工智能服务的风险主要来源于以下三个方面：（1）生成式人工智能服务在构建基础模型收集、使用大量数据可能具有风险。一方面生成式人工智能服务对数据的利用在广度上可能存在风险，由于生成式人工智能服务在预训练阶段需要尽可能多地通过技术手段搜集数据以提高模型的准确性和真实性，一旦超出许可范围搜集了国家数据、政府数据以及个人隐私数据，则可能违背网络安全法、数据安全法、个人信息保护法的相关规定，需要厘清生成式人工智能服务收集利用数据的范围；另一方面生成式人工智能服务对数据的利用在深度上可能存在风险，在收集到用户数据后，算法可能会自发地挖掘用户隐藏数据，从而优化模型，例如通过行踪信息推断出医疗信息等，这无疑是对用户知情同意权的一种侵犯，需要克服技术惯性，将相关法律规定内嵌至算法当中。由于基础模型能产生较大的社会效益，因此其规制以内嵌治理原则为主，有的学者认为生成式人工智能的治理要基于：协同共治、提升透明度、保障数据质量、伦理先行的元规则进行。还有的学者认为生成式人工智能的治理需要在把控好发展节奏的同时，推进伦理先行、人机和谐、技术向善的治理原则落实到生成式人工智能的方方面面。（2）生成式人工智能应用在算法模型上可能存在风险，目前以ChatGPT为代表的较为前沿的生成式人工智能服务的算法模型在构建过程中，人工智能自动生成的代码占了一部分比例，且在可预见的未来中，人工智能自动生成的代码比例占总代码的比例会逐渐上升，算法的透明性、可解释性、可控制性无疑会极大地下降，可能会模糊侵害事实和算法决策之间的因果关系，从而导致责任分配不公，引发社会矛盾。因此生成式人工智能服务需要在投入市场前，充分披露、解释、检验其算法模型，为之后可能发生的生成式人工智能服务侵害行为提供争议解决依据。（3）生成式人工智能服务的服务层面可能存在风险，生成式人工智能服务为了迭代优化自己的模型，可能超出在合理、正当、必要的范围内收集用户在使用服务过程中产生的各种信息，需要相关法律规定予以规制。

生成式人工智能服务存在风险这一点毋庸置疑，但是不同生成式人工智能服务的风险却不尽相同。如果采取一刀切的治理方式，无疑会极大地阻碍技术的发展，但倘若采取过于宽松的治理方式，难免又会对个人信息安全、社会舆情安全乃至于国家安全产生威胁。有的学者认为生成式人工智能的监管分为两方面：一方面是技术控制先行，推动国家层面介入基础模型的生产，以避免原则性问题；另一方面对应用层面采取包容审慎的态度，通过避风港、监管沙盒实施敏捷治理。还有的学者认为我国在总体上坚持包容审慎的治理态度，具体包括从法律层面的制度构建、软法规范层面的填补式风险治理以及通过监管沙盒实现敏捷型风险治理等三方面来完善现有的人工智能风险治理体系，在技术创新与风险治理之间寻求平衡，从而实现数字经济的健康持续发展。此外，有学者认为生成式人工智能的治理应当从“技术支持者一服务提供者一内容生产者”的监管框架转变为依据“基础模型一专业模型一服务应用”的业态分层治理的模式，从而在促进基础模型发展的同时，将生成式人工智能产生的风险通过包容审慎、分类分级、敏捷治理化解在专业模型层面和服务应用层面。以上学者观点或多或少都存在一些不足。本文认为基于生成式人工智能服务的特点，希望通过法律完全解决生成式人工智能服务的观点是远远不够的，必须也要同时将技术向善、技术透明、技术可解释等原则内嵌入算法当中；对于希望只通过归纳生成式人工智能的使用原则应对生成式人工智能服务可能带来的风险的观点，本文认为也达不到应有的效果，因为对于例如人工标注阶段和算法迭代阶段可能造成的数据安全风险，如果没有严格的对应惩处措施，将使国家安全、社会舆论、个人信息安全面临极大的风险；对于认为生成式人工智能服务不同层级应当运用不同监管工具的观点，本文认为不够具体翔实，对于技术部分以内嵌相关原则的形式进行监管无可非议，但是对于具体的生成式人工智能服务进行规制时，需要依据其风险级别，宽严相济地进行治理，这样才能在促进技术蓬勃发展的同时，避免难以承受的风险发生。

在这些研究基础上，本文认为立法者应从生成式人工智能服务的基础模型层面、算法模型层面和应用服务层面出发，在基础模型层面内嵌治理原则，实现技管结合，引导技术向善，根据算法模型的可解释性、透明性、可控性以及服务层面生成内容的真实性、可靠性、准确性厘定不同生成式人工智能服务的风险，进行分级治理，才能兼顾技术发展与社会安全。

三、我国生成式人工智能服务相关法律规制现状

我国对于生成式人工智能服务法律规制是从通过其他部门法相关法律条款对生成式人工智能服务的风险进行回应式治理到制定专门的部门规章进行集中式治理，这个过程中治理的针对性、有效性、直接性逐渐增强，但还是存在缺乏对生成式人工智能服务的翔实定义、对生成式人工智能服务的管理存在“一刀切”的情况、生成式人工智能服务相关规定不够具体等问题。

（一）我国生成式人工智能服务法律规制发展沿革

我国对于生成式人工智能的治理主要分为两个阶段。在2023年4月11日以前，我国主要通过零散的法律对生成式人工智能产生的风险进行回应式治理，在很长一段时间内人工智能法学研究仍然是依托具体部门法问题意识和研究方法开展，所谓的人工智能法只是部门法披上了一层人工智能法的外衣，这样做的优势是可以直接沿用现有的监管工具，给予生成式人工智能技术充分的发展空间，促进我国人工智能相关技术发展，劣势则是分散的回应式治理对于生成式人工智能相关风险的治理具有一定的滞后性，不能及时对相关问题进行规制。

早先，我国主要通过零散的法律法规，对生成式人工智能服务的各个环节分散治理。例如在生成式人工智能基础模型获取训练数据时，要遵守个人信息保护法第13条的规定，在处理网络上的个人信息时，要获得个人同意，其次，要遵守个人信息保护法第6条的规定，在最小范围内收集个人信息；接着，如果生成式人工智能基础模型的训练数据是通过网络爬虫的方式获取的，则需要遵守网络安全法第27条的规定，不得对被爬虫的网络站点造成影响；最后在获取训练数据时要遵守反不正当竞争法第18条的规定，不得侵犯其他网络运营者智力劳动成果投入而形成的数据产品。虽然以分散的法律对生成式人工智能产生的问题大都可以进行回应，但是一方面存在法律模糊地带，例如用户使用生成式人工智能产品生成的内容可否被企业无条件直接利用；另一方面，以分散的法律回应产生的问题针对性较弱，且回应具有滞后性，不能从根源上真正解决问题。

2023年4月以来，我国相关部门相继出台了《生成式人工智能服务管理办法（征求意见稿）》《生成式人工智能服务管理暂行办法》等专门性规定规制我国生成式人工智能服务，这些规定一方面代表了我国重视生成式人工智能服务规制问题，通过针对性的立法对生成式人工智能进行集中治理，开辟了我国生成式人工智能治理的新时代，另一方面又存在一些定义不清、理念不明、规制措施不够详细的问题。

2023年4月11日，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》，该办法是我国首次对生成式人工智能服务以法律的方式进行规制，对生成式人工智能服务带来的相关风险进行了回应，标志着我国生成式人工智能立法走在了世界前沿，但是其中很多规定较为笼统，没有对生成式人工智能服务进行分级治理，对服务商要求过高，可能阻碍生成式人工智能应用的发展。

2023年7月10日，国家互联网信息办公室又发布了《生成式人工智能服务管理暂行办法》，其中第3条提到了“国家坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管”。这一条表明了国家推动生成式人工智能发展的决心，同时也体现了国家对生成式人工智能服务可能产生的风险的关注。尽管该条提出了对生成式人工智能服务实行分类分级监管的概念，却没有具体阐述分级的依据和种类，因此在具体分级治理的实际操作层面还存在很大的空白。

2023年8月15日，中国社会科学院国情调研重大项目《我国人工智能伦理审查和监管制度建设状况调研》起草组发布了人工智能法示范法1.0（专家建议稿），其中第23条规定：“国家建立人工智能负面清单制度，对负面清单内的产品、服务实施许可管理，对负面清单外的产品、服务实施备案管理。国家人工智能主管机关根据人工智能在经济社会发展中的重要程度以及一旦遭到攻击、篡改、破坏或者非法获取、非法利用，对国家安全公共利益或者个人、组织合法权益、经济秩序造成的危害程度，牵头制定并定期更新人工智能产品、服务负面清单。”人工智能法示范法虽然不是正式立法，但是具有很强的借鉴意义，第23条涉及的负面清单制度，实际上就是对人工智能产品、服务进行分级治理，分级的依据一方面是人工智能产品、服务本身在经济社会发展中的重要程度，另一方面是一旦该产品、服务受到攻击时可能产生的损失，分级的结果是高风险的人工智能产品、服务投入市场时需要事前许可，与此同时风险较低的人工智能产品、服务在投入市场时只需要事后备案即可，同时兼顾了人工智能产品、服务的发展与安全。但是人工智能法示范法第23条也存在与《生成式人工智能服务管理暂行办法》第3条同样的问题，就是分级的依据太过宽泛，没有具体的判断标准，在实践中很难操作，同时分级的种类还是不够细致，不能够充分的兼顾生成式人工智能服务的发展与安全。

（二）我国生成式人工智能服务法律规制存在的问题

基于对我国生成式人工智能服务相关法律规定的梳理和目前学界研究现状，我国生成式人工智能法律服务规定主要存在以下三点不足：

1.缺乏对生成式人工智能服务的翔实定义

《生成式人工智能服务管理暂行办法》第22条指出生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。这个定义既没有体现出生成式人工智能服务的智能性，也没有突出生成式人工智能服务的交互性，因此基于这个定义很难有针对性地化解生成式人工智能服务可能产生的风险。

2.对生成式人工智能服务的管理存在“一刀切”的情况

《生成式人工智能服务管理办法（征求意见稿）》中完全没有提到对生成式人工智能服务进行分类分级管理，《生成式人工智能服务管理暂行办法》第3条提到对生成式人工智能服务进行分类分级管理，但也只是一笔带过。显然目前我国立法并没有基于生成式人工智能服务可能存在不同等级风险进行详尽的分级治理，这种“一刀切”的做法，一方面会导致高风险的生成式人工智能服务产生的大量法律问题不能及时解决，另一方面又会阻碍低风险的生成式人工智能服务的正常发展，迟滞技术进步的脚步。

3.生成式人工智能服务相关规定不够具体

《生成式人工智能服务管理暂行办法》对于分级管理的分级依据、分级类别、不同级别的规制方式均语焉不详，使得该规定只是一纸空文，起不到相应的规避风险，促进经济发展，维护市场稳定的作用。

四、国外生成式人工智能服务相关法律规制经验借鉴

国外生成式人工智能服务相关法律规制以美国和欧盟为代表分为两个大的类别，分别是以欧盟为代表基于风险分级的硬法规制和以美国为代表确立人工智能相关原则的软法规制。下面将详细论述两种不同规制方式的概况以及我国立法可以借鉴之处。

（一）通过划分风险级别分级规制人工智能服务

欧盟在人工智能方面的立法非常完备，2023年6月14日，欧盟议会通过了关于人工智能法案的谈判立场，欧盟理事会成员国现在将开始就法律的最后形式进行会谈，预计在今年年底达成正式协议。人工智能法案依据人工智能的风险等级将人工智能分为四类，包括不可接受风险、高风险、有限风险和最小风险。人工智能法案的第7条规定了人工智能系统的分级规则，主要包括以下几个方面：（1）人工智能系统的预期目的；（2）人工智能系统的一般能力和功能，独立于其预期目的；（3）人工智能系统已被使用或可能被使用的程度；（4）人工智能系统处理和使用的数据的性质和数量；（5）人工智能系统自主行动的程度，同时基于以上人工智能系统的特征，评估其对自然人健康、安全或者基本权利伤害的风险，以及对环境造成重大损害的风险，确定人工智能系统的风险级别。概括来说就是基于人工智能系统本身的重要性、可解释性以及透明性，确定人工智能系统的风险级别，从而进行分级治理。根据人工智能法案相关规定，不可接受风险级的人工智能系统禁止投入市场；高风险级的人工智能系统要在合格评估之后才能投入市场，投入市场之后还需要备案；有限风险和最小风险级的人工智能系统则既不需要合格评估，也不需要备案就可以投入市场。可以看到，欧盟的人工智能法案基于人工智能系统训练数据的质量、算法模型的可解释性以及系统本身可能对伦理、安全、经济的影响，将人工智能系统划归到不同的风险级别，并基于风险级别对人工智能系统采取不同严格程度的规制方式，很大程度上平衡了人工智能系统的发展与安全。2022年12月1日，巴西数据保护局（ANPD）发布了巴西人工智能法（草案）。无独有偶，巴西人工智能法（草案）也是基于风险对人工智能系统分为禁止级、高风险级，同时要求禁止级的人工智能系统禁止投入市场，高风险级的人工智能系统投入市场前需要进行合格评估，所有级别的人工智能系统都需要备案。巴西人工智能法（草案）的风险分级依据也是人工智能系统本身的重要程度以及其可能对国家、社会、个人所造成的影响。

以欧盟的人工智能法案为代表的硬法规范大多基于风险对人工智能服务分级规制，通常将人工智能服务基于风险分为禁止级、高风险级、有限风险级、最小风险级四个等级，分级的依据包括：人工智能服务基础模型训练数据的数量与质量；人工智能服务涉及算法的透明性、可靠性、可解释性；人工智能服务本身在经济社会中的重要性以及其可能对社会产生的危害。

（二）通过明确基本原则规制人工智能服务

以软法规制人工智能相关风险最早起源于经合组织。2019年5月，经合组织（OECD）通过了《人工智能原则》，主要包括：（1）包容性增长、可持续发展和福祉；（2）以人为本的价值观和公平；（3）透明度和解释性；（4）坚固、安保和安全；（5）责任。这五项原则也成了很多国家在此之后制定人工智能相关战略的参考对象。2023年1月26日，美国国家标准与技术研究院（NIST）正式发布了《人工智能风险管理框架》及配套使用手册，将人工智能相关活动分为应用程序背景、数据和输入、人工智能模型、任务和输出四个维度以及“人与地球”四个特殊维度（用以代表作为人工智能背景的人权、社会和地球等更广泛的福祉），并强调了测试、评估、检验和确认在整个生命周期中的重要地位。综合来看《人工智能风险管理框架》就是从人工智能应用的目的、算法模型、输入模型的数据、应用产出、环境五个层面衡量人工智能应用的风险。2023年3月29日，由英国科学、创新和技术国务秘书提交议会的政策性文件《有利于创新的人工智能监管方法》中提到英国人工智能监管框架的基础性原则包括：安全、安保和稳健性、适当的透明度和解释、公平、问责制和治理、诉讼的可持续性和补救。该文件还强调英国将先基于人工智能服务所处的行业进行分类（例如，识别机器表面划痕的人工智能服务不需要考虑其风险级别，而金融行业的人工智能服务显然就需要考虑其风险级别），再对可能产生风险的人工智能服务进行风险等级划分。2023年5月16日，法国数据保护局发布了《人工智能行动计划》，文件强调了法国将从（1）了解人工智能系统如何工作及其对人类的影响；（2）支持并监督隐私友好型人工智能的发展；（3）团结并支持法国和欧洲人工智能生态系统中的创新参与者；（4）审计和控制人工智能系统并保护人员。该文件重点从人工智能服务训练数据来源的可靠性、系统本身的可解释性、可控性等方面考虑，确定不同人工智能系统的风险级别，实现发展与安全并重的分级治理。2023年5月25日，新西兰隐私专员办公室（OPC）发布了《生成式人工智能（AI）指南》。该文件指出生成式人工智能可能产生的风险主要包括：（1）生成式人工智能基础模型所使用的训练数据可能存在版权或隐私问题；（2）生成式人工智能服务可能会读取并记录用户输入的信息，从而产生隐私风险；（3）生成式人工智能服务产生的信息不一定准确，可能产生逼真的虚假信息；（4）可能由于生成式人工智能服务本身算法的复杂性，用户想要向生成式人工智能服务商请求实现其知情权、删除权等权利存在困难。

以经合组织的《人工智能原则》为代表的软法规范，大多是从一个宏观层面阐明人工智能服务需要具备的特征，概括成以下三个方面：（1）以人为本的价值、公平、可靠等原则强调人工智能服务基础模型训练数据要保质保量，避免出现歧视、非客观、非公正等伦理问题；（2）透明度、可解释、稳健性等原则强调人工智能服务算法模型需要置于人的控制之下，每一行代码都能够被解释，从而保证算法生成的结果在可控范围之内；（3）包容性、可持续性发展、责任导向等原则强调人工智能服务产出的结果以及使用人工智能服务的过程都要置于法律的监管之下，从而兼顾人工智能的发展与安全。

（三）国外生成式人工智能服务相关法律规制对中国立法的启发

在梳理了国外生成式人工智能服务相关法律规制后，本文认为我国可以从以下几个方面进行借鉴：

1.明确生成式人工智能服务范围

只有明确生成式人工智能服务的定义，才能明晰生成式人工智能服务的运行涉及哪些要素、可能面临哪些风险，从而为进一步提出规制生成式人工智能服务的措施提供理论依据。

2.确立生成式人工智能服务的治理原则

法律不能管到社会生产生活的方方面面，尤其是生成式人工智能服务的算法层面。由于算法的复杂性、多变性、黑箱性，法律很难直接规制，此时就需要提取生成式人工智能服务运行的“最大公约数”，确立相应的治理原则，并将其内嵌入算法当中，从而在技术层面避免生成式人工智能服务可能带来的风险。

3.细化不同风险级别生成式人工智能服务的管理措施

“法律是利益调整的工具，是社会不同利益群体之间的平衡器。在利益平衡理念指引下的法律规则，能够充分考虑法律调整对象之间的利益均衡”。只有笼统地规定不可能达到立法目的，发挥法律相应的作用，因此需要细化不同风险级别生成式人工智能的管理措施，明确分级的类别、依据和相应的规制方式。从而平衡不同风险级别生成式人工智能服务的利益，实现整个产业效益的最大化。

五、我国生成式人工智能服务的法律规制路径

通过前文对于中国立法现状不足的梳理，合理借鉴国外相关立法以及吸收现有研究成果优势，本文认为我国生成式人工智能服务的法律规制改良需要从以下三个方面进行。

（一）对“生成式人工智能服务”进行明确的法律界定

根据欧盟人工智能法案第3条有关定义，人工智能服务是指“基于机器的系统，旨在以不同程度的自主权运行，并且可以针对明确或隐含的目标生成例如预测、建议或决策等输出，影响物理或虚拟的环境”。我国可以将该定义延伸至生成式人工智能服务领域，即将生成式人工智能服务界定为“基于机器的系统，通过分析海量数据和算法优化迭代，以不同程度的自主权运行，针对用户提示明确或隐含的目标生成例如预测、建议或决策等输出，影响物理或虚拟的环境”。充分阐明生成式人工智能服务涉及的要素，从而为后续规制生成式人工智能服务可能产生风险做好铺垫。

（二）明确生成式人工智能服务应当遵守的原则

根据美国相关人工智能服务框架，本文认为我国应当结合国情，创造性地将相关生成式人工智能服务应当遵守的包括技术向善、技术透明、技术受控等原则内嵌入算法当中，从而抑制技术惯性、避免算法歧视、掌握技术轮舵，使得算法在现代化法制轨道上蓬勃发展。

（三）生成式人工智能服务的分级依据、类别和规制措施

依据欧盟等相关人工智能立法现状，我国生成式人工智能服务可以将分级管理措施进一步细化：（1）生成式人工智能服务可以分为禁止级、高风险级、有限风险级、最小风险级四个级别。（2）生成式人工智能服务可以依据基础模型的数据质量、算法模型的可解释性、服务本身产生和收集的信息对经济社会影响大小和产生风险的可能性三个方面进行分级。（3）对生成式人工智能进行分级后，可以采取禁止投入市场、投入市场需要事前许可和事后备案、投入市场无需许可只需要备案等方式。不同严格程度的规制方式对应不同风险级别的生成式人工智能服务，从而合理的利用司法行政资源使得生成式人工智能服务市场的发展与安全齐头并进。

本文认为在生成式人工智能服务风险等级的确立上，可以沿用欧盟人工智能法案对于人工智能系统的风险等级四分法，但是出于推进基础模型发展的需要，仅从原则层面规定基础模型语料库的来源，而不做更多的硬性规定，对于算法模型和服务应用端可能产生的风险则应当全部纳入风险等级的分类依据内。同时对于风险不可接受的生成式人工智能服务应当禁止投入市场；对于风险较高的生成式人工智能服务应事前审查得到国家有关机关的许可后，方可投入市场；对于风险较低的生成式人工智能服务应在国家有关机关备案后，方可投入市场；对于无风险的生成式人工智能服务应在地方有关机关备案后，方可投入市场。具体而言，建议国家将生成式人工智能服务的分为以下级别：（1）禁止级：产生的内容不符合社会主义核心价值观，容易造成各种歧视，严重损害他人合法权益的生成式人工智能服务，禁止投放市场。（2）高风险级：不生成禁止级可能产生的内容，但人工智能自动生成的算法占算法总比例过高，以至于算法透明度和可靠度较低，或者在服务应用端收集用户输入信息，可能导致生成结果造成严重不良社会影响的生成式人工智能服务，需要得到国家网信办等国家有关部门授权许可之后方可投入市场。（3）低风险级：不生成禁止级可能产生的内容，虽然存在人工智能自动生成的算法，但占算法总比例不高，不影响算法透明度和可靠度，不太可能导致生成结果造成严重不良社会影响的可能的生成式人工智能服务，需要在国家网信办等国家有关部门备案之后方可投入市场。（4）安全级：不生成禁止级可能产生的内容，不存在人工智能自动生成的算法的生成式人工智能服务，需要在省级网信办等地方有关部门备案之后方可投入市场。

结语

生成式人工智能服务由于涉及海量数据的收集、利用、输出以及复杂算法的应用，在给社会生产生活带来极大便利的同时，也带来的很多方面的风险。本文通过对国内外立法现状以及现有研究成果的梳理总结后，提出了明确生成式人工智能服务范畴、确立生成式人工智能相关原则、细化基于风险的分级管理措施等建议。未来还需要有关部门在结合基本国情的基础上，充分吸收国内外立法经验和研究成果，兼顾发展与安全，推动生成式人工智能服务产业在法治轨道上蓬勃发展。

往期精彩回顾王月｜数字时代刑民一体化视野下个人信息保护问题实证研究
卢君｜论利用第三方支付平台实施侵财犯罪的刑法定性——以152起上海市相关案件判决书为研究样本
课题组｜知识产权恶意诉讼大数据法律监督模型“全周期”实践路径探索分析
赵丽娜｜数字赋能案件质量评查的路径与机制构建
白楠 牛玲玲 管胜杰｜涉民用无人机类犯罪案件的风险防控及法治保障
金梦婕｜区块链技术在诉源治理领域的应用探索

上海市法学会官网

http://www.sls.org.cn