钭晓东｜论生成式人工智能的数据安全风险及回应型治理
钭晓东
浙江大学光华法学院教授、博士生导师，浙江大学新时代枫桥经验研究院教授
要目
一、问题的提出二、生成式人工智能应用中的数据安全风险三、生成式人工智能数据安全治理的范式转型四、生成式人工智能数据安全风险的回应型治理一、问题的提出
近期，作为人工智能重大发展成果的ChatGPT横空出世，再一次引发了学界对数据安全乃至国家安全的忧虑。ChatGPT是美国人工智能研究实验室OpenAI推出的一种全新生成式人工智能模型，本质上是一种“生成型预训练语言转换器”。它基于大量数据训练，可以学习和理解人类的语言，并进行交流对话，甚至能完成撰写邮件、制作视频脚本、创作文案、翻译、编写代码等任务，具有极强的“内容创作”和“思考”能力，并呈现出由日常生活向专业领域过渡的趋势。ChatGPT已在智能办公、智慧科研、智慧教育、智慧医疗及游戏、新闻等多个领域投入应用，域外亦有法官借助ChatGPT作出法庭裁决。总之，这一技术引发了未来科技发展和社会生产生活的本质性变革，但也蕴涵着极大的安全风险。目前，ChatGPT不支持我国用户注册账号，据报道，其原因可能涉及OpenAI和微软的法务人员对于美国外贸管制法规或“国家安全”事务的解释。换言之，OpenAI可通过限制ChatGPT应用范围的方式对其本国的语言模型类技术和国家秘密加以保护。但ChatGPT研发及应用中其他主权国家的安全利益何以得到保障？从ChatGPT运行原理来看，其通过连接大量的语料库来训练模型，这一过程中语料库数据的获取、语言模型训练、语料库数据存储等各个环节都涉及体量庞大的数据处理，ChatGPT的设计者可以恶意操控上述任意一个环节，损害其他主权国家的数据安全利益。可以预见的是，生成式人工智能应用将迎来大规模普及。这也意味着，其带来的潜在数据安全风险可能伴随着大数据技术的发展而持续发酵，给国家安全带来巨大的威胁和隐患。因此，作为新一轮技术革命成果的生成式人工智能，值得我们认真对待，在考虑扩充其使用范围以便利生产生活的同时，也应认真审视其背后的国家安全问题，并对其中的数据安全风险及时进行治理。
为此，学界针对生成式人工智能中的数据安全问题进行了一定的研究，并提出了构建生成式人工智能数据安全风险治理的元规则，从回应型治理转向数据安全的敏捷型应对，从制度和技术层面协同推进AIGC领域数据可信治理等一系列应对措施。然而，目前大部分学者只是在讨论生成式人工智能技术风险时附带提及数据安全问题，尚未有详尽、专门的研究来深入阐述生成式人工智能数据安全问题的特殊性以及可能引致的其他国家安全层面的严重后果。这导致对该问题的研究显得过于笼统，甚至脱离了生成式人工智能这一应用场景。还有一部分学者针对生成式人工智能的信息内容风险及治理展开了大量研究，但从其治理措施来看却忽视了信息内容风险始终源于数据安全这一本质性问题。鉴于此，本文拟在生成式人工智能应用各个环节中，对其数据安全风险进行详细剖析，同时结合当下数字时代背景和生成式人工智能技术本身的特点，探讨生成式人工智能数据安全风险治理的范式转型，最后提出生成式人工智能应用中数据安全风险的回应型治理路径，以期对该领域的数据安全问题作出更为深入的研究与分析。
二、生成式人工智能应用中的数据安全风险
生成式人工智能强大的学习能力离不开海量数据汇聚形成的语料库，语料库数据的输入、运算、存储与输出均可能引致不同程度的数据安全风险，这些数据安全风险贯穿应用的全过程，兼具瞬时性和破坏性，直接或间接地挑战着我国数据主权，成为影响国家安全的新型隐患。厘清生成式人工智能应用中的数据安全风险，是明确风险治理需求的基本前提。
生成式人工智能需要利用大量数据输入训练自然语言模型，这有助于模型获取知识并构建语料库，从而能够准确理解自然语言并生成标准答案文本。显然，生成式人工智能的存在基于海量数据信息形成的语料库。在构建和更新语料库的形式方面，可以将其分为被动和主动两种类型。被动构建与更新的语料库是大量用户通过对话框自行输入信息、系统自动将该类信息保存并纳入的语料库。主动的语料库构建与更新则以数据爬虫技术为典型，数据爬虫技术可以通过程序自动收集互联网上的大量数据，这种数据收集方式的优点在于其能够快速、高效地获取大量的数据，使得模型的训练和表现更加准确和可靠。
无论是被动的数据“输入——收录”还是主动的数据爬取，均可能引致语料库的非法获取。对于用户自行输入的数据信息，根据OpenAI用户协议，尽管用户在账号注册时作出了同意数据收集的意思表示，但有关用户个人身份信息的这部分内容，OpenAI不得收集，其仍负有从记录中予以删除的义务。问题在于，OpenAI用户协议并未明确删除方法及其具体行使，此类信息在实践中仍可能被保留并用于模型训练，会构成对个人知情同意权和删除权等个人信息权益的侵害。对于数据爬虫而言，鉴于数据自由流通在数字社会具有重要价值，国际规则和各国法律对正当的数据爬取予以认可。但数据爬取并非不受限制，数据爬取亦存在正当性边界。根据我国数据安全法第32条规定，ChatGPT等生成式人工智能系统爬取我国境内数据应严格遵守我国数据保护相关规定，若爬取我国未公开数据、出于非法目的爬取我国数据或采取其他恶意手段爬取我国数据，则明显超出正当性边界，构成语料库的非法获取。意大利个人数据保护局（DPA）就曾因为OpenAI涉嫌非法爬取大量意大利用户信息数据，宣布从2023年3月31日起禁止使用ChatGPT，同时对其隐私安全问题立案调查。可见，生成式人工智能中的数据爬虫问题应当引起高度重视。同时，从其结果来看，由于非法爬取获得的数据常常具有机密性、高密度性和保护性等特征，非法行为不仅侵害了个人的信息权益，而且也涉及国家的数据安全和数据主权问题。当生成式人工智能开发机构利用非法数据爬取技术成功爬取我国境内数据并将其传输出境时，我国已失去对该部分数据出境的管理利益和对境外数据的自主控制利益，这意味着我国数据主权受到了挑战。当前，生成式人工智能需要不断扩充数据库来提高回复文本的准确性，非法数据爬取作为数据获取的霸权行为之一，日益成为威胁国家安全的重要隐患。
生成式人工智能文本生成由其自然语言模型所决定，而自然语言模型在本质上取决于算法选择以及用于模型训练的庞大数据库，这使得模型开发者能够通过裁剪数据库或操控算法的方式，将自己的偏好植入训练数据，从而使输出的文本呈现某种价值观。
与其他语言模型一样，ChatGPT并不是一个没有偏见的工具。它对世界的“认识”取决于算法，或者说设计者所作的决定。例如，使用哪类数据进行文本训练或使用何种生成方式进行内容回复。这也可从ChatGPT运行原理中得到印证。为了确保ChatGPT输出信息的高度准确性，OpenAI实施了一种“人类反馈强化学习”训练方法：开发主体从GPT中选取样本，对其进行人工标注，并利用评分结果来训练反馈模型。通过对反馈模型和原模型进行对抗强化训练，可以持续优化原模型的输出结果，最终得到一个符合人类语言习惯、偏好和价值观的语言生成模型。此类模型生成机制可能造成以下隐患：生成式人工智能开发机构可能出于特定的政治目标或其他利益考量，使用带有偏见的数据样本进行语言模型训练，使生成的回复文本完全符合其意识形态标准，从而“潜移默化”地影响用户，使用户思想或行为偏好向着有利于自身方向发展。因此，生成式人工智能中的数据偏见风险将可能带来极为严重的安全后果。
在当今全球各种思潮、文化和价值观念相互碰撞的背景下，人工智能技术面临着被政治操纵、用作意识形态宣传的风险，应当对此始终持谨慎态度。西方发达国家掌握大数据和人工智能核心技术，按照其自身价值观制定全球政治秩序和规则，裁剪符合自身意识形态标准的数据库，加剧了全球信息体系和政治秩序中的不平等和垄断现象。在这种背景下，生成式人工智能的开发者可以通过操纵算法或裁剪数据库的方式，在模型中植入某些价值观。如果开发者持有历史错解、文化偏见或种族歧视的价值观，这些观念可能会通过模型与用户的互动产生潜在的不利意识形态影响。在当今高度互联的社会中，意识形态安全已经不再是单纯的意识形态问题，而是关系国家安全和稳定的核心议题。近年来针对意识形态的渗透和干扰事件不断发生，再一次给我们敲响了警钟。
生成式人工智能需要从大量数据中学习和生成模型，海量数据的处理无疑将扩大其攻击面，相应地，数据泄露风险的发生概率和影响范围也随之增大。ChatGPT开发者OpenAI的首席技术官米拉·穆拉蒂率先表示，必须谨慎使用ChatGPT，切勿在其上上传敏感信息或核心数据，以免信息泄露，导致损失。为此，微软基于预防商业机密泄露的考虑，已宣布禁止公司员工向ChatGPT分享公司敏感数据。同样地，亚马逊的公司也警告员工“不要与ChatGPT分享任何亚马逊的机密信息，因为他们有可能将其用于训练未来的模型”。事实证明，这种担心并非多余。就在GPT-4最新发布之际，ChatGPT出现了严重技术漏洞，用户在社交媒体上表示看到了其他人的历史搜索记录标题。OpenAI随即立刻关闭了ChatGPT，当用户再次打开该系统时，历史聊天记录侧边栏已被替换为“历史记录暂不可用，我们正在努力尽快恢复这一功能”。针对这一事件，OpenAI首席执行官SamAltman在社交媒体发文，宣布修复程序已验证完成，并对此“感觉十分糟糕”。
ChatGPT使用大规模的语言数据集进行训练，这些数据集都被处理成了标准的文本格式并存储在高效的数据存储系统中，泄露可能存在以下三方面原因：其一，主动泄漏，即ChatGPT开发机构直接向外界透露语料库存储系统中的数据。但根据ChatGPT自身的说法，作为一个语言模型，ChatGPT使用的是无人工干预的自动化训练过程，主要依赖于大量公开的数据集进行学习，因此很难存在直接的数据泄露问题。此外，OpenAI表示将根据用户隐私协议极力保障用户数据安全，并采用了多层保护措施严格控制数据存储系统的访问。如此看来，语料库数据直接泄露的可能性似乎较小。其二，隐含泄露，即将用作ChatGPT进一步迭代的训练数据，在未来的版本作为输出内容。例如，在ChatGPT中输入的文本可能包含用户的个人信息、信用卡信息、密码等敏感信息，而模型推断输出的结果可能会间接泄露这些信息。另外，如果模型训练数据中包含了具有隐私敏感性的文本数据，例如医疗记录、司法文书、个人通信记录等，那么模型可能会学习这些信息并在未来版本中将其泄露出来。相较于直接泄露，语料库数据间接泄露风险具有高频性、渐进性的特点。其三，系统漏洞泄露，这也是语料库数据泄露最大的风险源。生成式人工智能模型本身可能存在未知的安全漏洞，攻击者可能通过这些漏洞进行攻击，例如修改模型的输出、篡改模型的训练数据、窃取模型的参数等，这些攻击可能会导致模型输出的泄露。
在生成式人工智能中，由于训练数据的规模直接影响模型的表现和性能，生成式人工智能通常具有相对较大的的数据体量。以ChatGPT为例，其拥有超过1750亿的参数，庞大的数据体量决定了一旦发生数据泄露事件，将造成难以挽回的损害后果。具体而言，在生成式人工智能语料库中，个人数据泄露可能导致大范围的隐私和著作权侵权，企业数据泄露可能导致不正当竞争或商业秘密泄露，政府数据泄露则将带来更为严重的损害后果，包括侵害“重要数据”安全和“国家秘密”安全等特别利益。
生成式人工智能具有极高的泛化和生成能力，但从技术本质看，其生成的内容是基于对语料库的学习和预测，是一种经验的再现，并非从语义和逻辑角度进行推理和判断的产物。换言之，生成式人工智能为用户提供的最终信息只是在海量信息筛选后给出的单一化且标准化的内容。因此，对于生成内容本身的真实性和准确性，生成式人工智能无法进行判断。这一特点可能导致生成式人工智能产生大量虚假信息，甚至被利用生成恶意内容，从而对人们的思维和行为产生误导和负面影响。美国新闻可信度评估与研究机构NewsGurd对ChatGPT进行测试发现，ChatGPT能在几秒钟内改变信息并产生大量令人信服却无信源的内容。这些内容将对自身判断能力不足的用户产生极大的误导性。如果恶意行为者或团体获得了ChatGPT的访问权限，他们可能会利用该技术生成虚假、不端或仇视性的信息，甚至从事创造暗网市场脚本，生成钓鱼电子邮件，编写恶意软件等非法活动。这些活动将严重影响国家安全。当前，已经出现了利用生成式人工智能实施犯罪的案例。2021年，一个黑客团伙使用了生成式人工智能技术，创建了一个名为“Deepfake Wire”（深度伪造电线）的诈骗平台。他们使用ChatGPT技术制作了一个虚假的客服机器人，并将其封装为“虚拟角色”，利用该机器人进行诈骗活动。可以预料的是，随着生成式人工智能技术的日益成熟，这种类型的犯罪案例将越来越普遍。生成式人工智能技术可能被恶意利用来制造虚假的政治信息，破坏选举、操纵政治舆论，以此干扰国家的政治稳定。还可能被用于攻击重要基础设施，如金融、能源和交通系统，会对国家经济和社会发展造成巨大损失。最为危险的是，生成式人工智能可能被用于进行间谍活动或窃取关键机密信息，从而给国家安全带来巨大的威胁。
三、生成式人工智能数据安全治理的范式转型
从社会发展的历程来看，生成式人工智能带来的数据安全风险经历了从无到有、由轻及重的过程。与此同时，安全观念也在不断演变和发展，从最初关注传统安全、网络主权以及强调绝对安全，逐渐发展到关注总体安全、数据主权，并提倡相对安全。这种安全观念演变直接影响了生成式人工智能数据安全风险治理模式的转变。
大数据时代悄然而至，伴随着数字技术带来的各种机遇和挑战，数据安全问题逐渐走进大众视野，并日渐彰显出对国家安全和社会公共利益的重大影响。2021年，全国人大常委会正式颁布数据安全法，明确提出“维护数据安全，应当坚持总体国家安全观”，对数据安全进行了全方位、系统化的规定。
正是在数据安全备受瞩目的时代背景下，生成式人工智能的出现进一步促进了大规模的数据交换和存储，再一次将数据安全问题推向风口浪尖。生成式人工智能应用中的数据安全风险，尤其危及国家数据主权、国家意识形态安全、国家信息安全及网络空间安全等问题。若说非传统安全的兴起促进了我国关于“国家安全”的思维转变，则生成式人工智能的出现将对“国家安全”带来更深一层的变革与重构，迫使“国家安全”理念基于现代科技的发展变得更为全面综合。
生成式人工智能数据安全治理的根本指针在于坚持数据主权，而要理解数据主权，则须从更为广阔的范畴——“网络主权”着手。自美国棱镜计划曝光，各个主权国家的网络主权意识被唤醒，开始就网络主权斗争达成共识。对中国而言，网络主权更被提到空前高度。2015年我国国家安全法第25条首次以法律形式明确“网络空间主权”。2016年网络安全法第1条开宗明义申明了“维护网络空间主权”的立法主旨。2017年我国发布《网络空间国际合作战略》，全面阐述网络空间主权原则的基本涵义，同时呼吁国际社会共同维护和平、安全、开放、合作的网络空间，共同推进网络空间治理国际规则的制定。
根据网络空间主权架构，网络空间主权涉及网络空间物理层、网络空间逻辑层和网络空间内容层三个层次。区别于物理层（光缆、卫星通信、能源、交通等基础设施）和逻辑层（互联网寻址、域名系统、路由协议等技术规则和标准）更多涉及技术问题，内容层主要涉及信息管理和数据流动规制，是各国论战的主要领域。随着互联网迅速发展和普及，信息技术在政治、经济和文化等领域应用逐渐成为国际安全格局发生重大变化的关键因素之一。在这一时期，信息攻击、操纵和破坏以软暴力的形式不断威胁着社会稳定和安全，成为全球面临的共同挑战之一。为此，各国政府开始采取行动，将信息安全作为一项紧急任务，与计算机和网络紧密结合在一起，作为法律治理重点。
直到网络发展进入大数据时代，数据作为基础性战略资源之一，逐渐被赋予更高的价值。信息安全问题也由此转化为数据安全问题，并在国家层面引起越来越多关注。随着各国开始争夺数据主权，数据主权作为一种新兴概念应运而生，其核心思想是国家对境内数据拥有控制权和管理权，并且必须加强对数据的监管和保护。在这种背景下，生成式人工智能作为一种新型的数据生成和分析技术，面临着打破国家控制权和管理权的风险，似乎成为争夺数据主权的一个关键武器。因此，生成式人工智能治理的重点不再是信息内容，而是数据这一信息载体。唯有充分认识数据的价值和作用，才能精准把控生成式人工智能的风险要害，从而有针对性地进行治理。
传统的绝对安全观念源于对安全问题的一种理想化思考，即安全风险可以通过完全预测、计算和控制，达到确定的安全状态。这种思想在面对传统安全风险如自然灾害、恐怖袭击等具有一定效果。但是，随着社会的快速发展和安全环境的变化，风险呈现出越来越复杂、多样化和不确定的趋势，同时治理措施的成本也随之增高。在这种情况下，绝对安全观已不再合适。根据社会学家乌尔里希·贝克的观点，现代化进程中科技和经济全球化的发展所带来的各种风险难以预测和计算。这些风险不受时间、空间和社会界限的限制，无法完全消除，其绝对性不可避免。此外，现代社会的复杂性决定了风险之间必将相互渗透、相互影响，这是现代社会不可避免的趋势。一旦人们对此形成了正确认识，“相对安全”便取代“绝对安全”，成为生成式人工智能风险治理的理性目标。作为一种新兴的人工智能技术，生成式人工智能的出现虽然带来了巨大的变革和创新，但也催生了多形态的社会风险。除网络攻击、黑客攻击、数据泄露等典型的信息安全风险外，深度伪造、人类主体化等伦理和社会风险，以及传统工作岗位消失带来的社会和经济不平等、不稳定问题也成为生成式人工智能应用的重大隐忧。这些风险本质上是由技术本身的特点和应用环境等多方面因素综合造成的，虽然可以通过加强技术开发以及制定相应的法规和政策来降低风险，但却不能完全消除。
此外，总体国家安全观辩证地认识了安全与发展的关系，强调“发展是安全的基础，安全是发展的条件”，从而放弃追求绝对安全，保障相对安全。在数字化浪潮中，数据成为经济和社会发展的重要基石和创新驱动力。数据创新融合了人工智能、物联网、区块链等前沿技术，正在重构人类社会和产业形态。我国的网络安全法和数据安全法均明确规定了数据开放和利用的政策支持，特别强调了匿名化数据的自由利用。这为企业拓展数字化业务和推动技术创新提供了重要机遇。生成式人工智能以数据为燃料，为人类提供了前所未有的创造力和生产力。因此，我们需要辩证看待其中的数据安全与发展问题，采取相应的安全措施，保障数据的隐私和安全，并利用好数据这一宝贵资源，推动社会和经济的可持续发展。
四、生成式人工智能数据安全风险的回应型治理
面对生成式人工智能正逐步呈现的弥散性扩张数据安全风险，构建全方面、多层次、重实效的生成式人工智能数据安全法治体系已刻不容缓。而这无疑也是当前国家高水平安全时势诉求的内在应有之义。
数据安全范式的核心要素是“可控性”，强调将数据的大规模流动、聚合和分析纳入风险管控过程中的必要性。根据国际标准化组织（ISO）颁布的风险管理标准，一般认为存在以下四种风险管控策略：避免风险、接受风险、转移风险、控制风险。鉴于绝对安全不可能存在，对待生成式人工智能带来的数据安全风险，无需做到完全消除。适当接受残留风险的存在，同时最大限度地进行风险控制，既能实现成本最小化，也有利于维持安全与发展的平衡，应当是最优策略。
从风险产生的角度看，只有通过对高度敏感的“重要数据”进行关联和分析，才可能挖掘出危害安全的重要情报。因此，实现对重要数据流动和聚合的有效控制，避免生成式人工智能对这些数据进行恶意整合和分析，可以大大减少数据恶意利用带来的危害。从实现风险源头的有效控制角度看，有以下两点思路：一是在数据分类分级基础上，加强数据的被动出境治理，避免重要数据被非法纳入生成式人工智能语料库，进而被不当披露和聚合分析；二是完善生成式人工智能的市场准入制度，从源头降低该类应用的安全风险。
1.加强数据被动出境治理
针对以非法数据爬取为主的攻击风险，我们需要采取主动防御措施，以预测、发现和防范潜在的安全威胁，实现数据被动出境的主动管理，从而有效降低生成式人工智能技术给我国带来的安全威胁。具体来看，需要采取以下措施：
建立境外网络攻击监控和调度平台是实现主动防御的关键一步。平台的建设可发挥以下三点作用：一是将不同领域的重要数据进行统一管理和监测，从而最大限度地发挥大数据的优势，实现数据协同合作和安全防范的统一；二是可以结合信息技术实现数据动态的实时在线监控，从而准确快速判断网络爬虫、撞库等网络攻击风险，为数据安全预警和应急处置提供信息；三是及时发布预警信息并辅助数据安全主管部门作出更为科学、准确的防御决策。总的来说，通过建立境外网络攻击监控和调度平台，可以在非法数据爬取等攻击行为造成严重后果前，提前预警，以避免或降低生成式人工智能语料库非法获取带来的不利影响。此外，由于私营部门作为数据业务直接参与者更能够及时察觉和发现实践层面的数据安全风险，为加强数据被动出境治理，还应建立政府和私营机构的共同防御体系。具体来说，可以从以下两方面落实：一是适当借鉴美国“受控非密信息”的数据标识制度，采用电子标记的方式来实现数据泄露后的可追溯性。通过责任可溯，可以确保私营部门在对接境外生成式人工智能开发机构的过程中，不会对国家安全造成威胁。二是需要鼓励私营部门参与数据安全威胁信息的共享。目前我国的数据安全监测仍然处于单一主体监控的阶段，这限制了我们及时发现和应对数据安全威胁的能力。为此，我们可以借鉴美国网络安全信息共享法案的相关规定，对那些自愿共享网络安全威胁信息的企业给予法律豁免，以激励其积极参与数据出境安全的共建共享。
2.强化生成式人工智能市场准入规则
除了作好数据被动出境的预防，对待ChatGPT等国外开发的生成式人工智能主动进入我国市场，也应当持谨慎态度，可从安全评估、数据获取、合规审查等方面进行制度强化，将可能存在的非法数据获取行为阻挡在市场准入这一步。首先，生成式人工智能安全评估规则是关键之一。在欧盟最新通过的人工智能法案中，人工智能被划分为最低风险、低风险、高风险、不可接受的风险四个等级。根据该法案，对于被划入高风险等级的生成式人工智能系统，开发机构必须提交符合规定的评估报告，并需要在系统投放市场前接受相关机构的审查和批准。这一基于风险程度的人工智能系统准入机制，强调不同等级的风险监管要求，突出了风险管理的重要性，对未来我国完善生成式人工智能应用准入规范应有启发。其次，生成式人工智能语料库数据获取规则应当明确。ChatGPT既未公开其数据获取方式，也未标明语料库数据获取来源，致使中文数据库来源的合法性和数据爬取的合理性无从判别。为确保个人隐私和国家安全得到保障，生成式人工智能应用准入的另一关键是披露其语料库数据获取方式和数据来源。再次，生成式人工智能开发机构应当主动采取数据清洗和数据去标识化等技术。通过对采集的数据进行筛选、去噪、去重、标注等处理，保障数据的完整性和真实性，防止数据被篡改、删除或者损毁，确保模型训练的数据准确可靠。最后，生成式人工智能开发机构应当定期对其产品进行合规审查，帮助开发主体识别和解决潜在的法律和道德风险，以保障数据来源的合法性和避免潜在的风险。
此外，用户提高生成式人工智能数据安全风险防范意识亦有助于从数据输入源头降低风险，促进安全风险得到有效管控。首先，用户应充分关注生成式人工智能《用户使用协议》，对生成式人工智能应用中其个人数据的处理目的、处理方式、保存期限、可能面临的风险、享有的权力等形成充分认识。例如，根据OpenAI的《用户使用协议》，用户享有拒绝OpenAI将其自行输入和输出数据用于模型的训练和改进的权利，并且可以在ChatGPT使用的任何时间段更改此选项；其次，用户应避免在生成式人工智能上上传敏感个人信息。对于民族、政治、宗教信仰、健康状况等敏感个人信息，一经泄露可能造成重大财产或精神损害，用户应避免在生成式人工智能上上传此类信息，以防被用于后续模型训练或遭致数据泄露。
算法难以理解和非直觉性的特点为生成式人工智能输出文本背后的价值判断蒙上一层面纱，带来了意识形态安全风险，而算法透明原则正是要揭下这层面纱，使算法露出真实面貌。算法透明原则是指通过公开和披露算法的设计原理、数据输入输出等要素，增强算法的可解释性和可问责性，以达到保障算法公正性和可信性的目的。我国相关立法规定不同程度地强调了算法透明的重要性，但原则性规定终究较为抽象，其具体落实仍需具体规则的构建。
算法解释权是算法透明原则最为关键的内容。算法解释权赋予相对人获取算法解释的权利，使其了解算法决策的依据和过程，并在必要时采取救济措施，以消除算法开发者或使用者与相对人之间的地位差异，进而使形式化的用户协议转化为实质上的平等。在《生成式人工智能服务管理暂行办法》生效之前，我国并未规定算法解释权或者类似规定，仅在人工智能相关规范和标准中提到“算法应当具有可解释性”。直到《生成式人工智能服务管理暂行办法》第19条首次作出了规定：“有关主管部门依据职责对生成式人工智能服务开展监督检查，提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。”该项规定在人工智能算法安全风险应对方面无疑是巨大进步，但其中的局限性也十分明显。首先，有权要求人工智能服务提供者就算法进行解释说明的主体仅涉及监管机构，而未明确涵盖其他相关方，这可能导致在实际执行过程中，其他重要利益相关者，尤其是个人信息主体的权益无法得到保障。其次，该项规定在描述算法机制机理时过于笼统，缺乏明确指向，可能导致执行上的困难，甚至使该规定难以实际落实。
欧盟地区和美国已经较早践行了算法透明原则并将算法解释权法定化。其启示意义在于生成式人工智能中算法透明原则的落实不能完全依赖于可解释权，还应辅之以算法影响性评估等事后规制措施。此外，除了以算法透明原则的落实来回应恶意内容生成风险，还应当作好事后应对与惩处，尤其是要求平台建立辟谣和举报机制，并对违法传播虚假有害信息者采取停止传输等限制措施。
针对生成式人工智能数据存储端的重要数据泄露风险，可从事前的数据保护与事后的应急处理两方面入手，对生成式人工智能系统开发机构科以数据处理环境安全保障义务和数据安全突发事件应急义务，夯实生成式人工智能数据管理保障机制。
1.数据处理环境安全保护义务
生成式人工智能开发机构应构建起全面的数据处理环境安全防护体系，使其语料库数据始终存储于安全的环境中。由此展开的数据处理环境安全保护义务的构成包括以下三个方面：其一，数据分级保护义务。数据分类分级是生成式人工智能语料库数据安全管理的前提，我国数据安全法已明确将数据分类为国家核心数据、重要数据、一般数据，进行轻重有别的差异化保护。《网络数据安全管理条例（征求意见稿）》第9条亦规定“处理重要数据的系统原则上应当满足三级以上网络安全等级保护和关键信息基础设施安全保护要求，处理核心数据的系统依照有关规定从严保护”。为此，生成式人工智能开发机构应依据数据的来源、价值、敏感程度和影响程度等对语料库数据进行分类分级，制定等级化的数据保护规范制度，对语料库中重要数据、核心数据采取更高等级的保护措施。同时，还应细化内部规则对语料库数据的分类、标记、评估等诸多方面进行规制；其二，数据风险监测和评估义务。根据数据安全法第29、30条规定，生成式人工智能开发机构在我国境内开展数据处理活动应当加强风险监测，发现数据安全漏洞等风险时，应当立即采取补救措施；生成式人工智能开发机构还应当对其数据处理活动定期开展风险评估，并向有关主管部门报送风险评估报告；其三，设置数据安全负责人和管理机构的义务。欧盟通用数据保护条例第37条规定所有数据处理者都应当设立“数据保护官员”，负责数据保护相关工作。我国数据安全法也有类似规定，根据数据安全法第27条第2款，生成式人工智能开发机构处理重要数据应当明确数据安全负责人和管理机构，落实数据安全保护责任。至于数据安全负责人和管理机构的具体职责，《网络数据安全管理条例（征求意见稿）》第28条作出的具体规定可予以参照，其中包括数据安全重大决策提议、开展数据安全风险监测、开展数据安全宣传教育培训等内容。
2.数据安全突发事件应急义务
确立生成式人工智能开发机构数据处理环境安全保护义务可以提高其数据安全保护能力，并有助于建立全方位、多层次的语料库数据管理体系。然而，即使如此，仍然不能完全避免数据泄露等安全事件的风险。因此，生成式人工智能开发机构需要建立健全应急预案，以及时响应、处置和报告数据安全突发事件，最大程度保障用户数据的安全。应急预案的制定应当遵循数据安全法等法律法规要求，包括但不限于以下内容：
其一，生成式人工智能开发机构应当明确数据安全责任人和应急响应团队成员的职责和任务。数据安全责任人应当具备足够的技术和管理能力，负责组织制定、实施和维护应急预案，负责协调各部门的应急响应工作。应急响应团队成员应当根据预案的要求履行职责，及时采取措施防止和应对数据安全事件。其二，应急预案还应当包括数据安全事件的分类和等级划分标准。生成式人工智能开发机构应当将数据安全事件分为不同的等级，以便进行及时、准确的处理。例如，一级数据安全事件可能是由于黑客攻击或自然灾害造成的系统故障，而二级数据安全事件则可能是由于员工失误或技术问题导致的数据泄露事件。生成式人工智能开发机构应当针对不同等级的数据安全事件制定相应的应急预案，并根据情况采取相应的措施。其三，生成式人工智能开发机构应当明确应急响应措施和流程。应急响应措施包括但不限于采取紧急措施、停止对外服务、隔离受影响的系统或网络等。应急响应流程应当包括但不限于事件的报告、确认、处理、跟踪、总结等环节。生成式人工智能开发机构应当在应急响应流程中规定各个环节的时限和责任人，以确保应急响应工作的及时性和有效性。其四，生成式人工智能开发机构应当定期组织应急演练，检验和完善应急预案。应急演练可以帮助生成式人工智能开发机构发现预案中存在的问题和不足，进一步完善和优化应急预案。在应急演练中，生成式人工智能开发机构应当充分考虑不同类型的数据安全事件，针对性地进行演练。其五，应急预案的制定应当以实际情况为基础，对不同类型的数据安全突发事件进行分类，制定不同的预案。例如，在面对数据泄露事件时，应急预案应当包括对受影响的数据进行封锁、追溯、还原等应对措施；而在面对数据丢失事件时，应急预案则应当包括及时恢复备份数据、提升系统容错能力等应对措施。其六，应急预案还应当明确责任人的职责和权限，以及应急处置流程和应急资源的调配方案。其七，在应急预案的制定和执行中，生成式人工智能开发机构还应当遵守相关的法律法规要求，如网络安全法、数据安全法等，确保应急处置的合法性和合规性。此外，还需要将应急预案不断完善和优化，通过定期演练和测试，提高应急响应的效率和能力，以应对不断变化的数据安全威胁。
恶意内容生成风险广泛存在于生成式人工智能数据输出端，如同一种渐进式的毒瘤，对人工智能技术发展和社会稳定、国家安全造成威胁。为此，需要从技术、标准和法律三元层面，优化生成内容治理体系。
其一，在技术层面，应当加强对生成式人工智能算法的研究，改进其生成机制，以确保其生成的数据符合道德和法律标准。生成式人工智能开发机构可以通过训练和调整生成式人工智能模型，提高其识别和过滤恶意内容的能力，从而降低恶意内容生成的风险。具体而言，可以利用自然语言处理和机器学习等技术手段，通过对恶意内容的检测和屏蔽来防止其出现在生成的数据中。此外，建立黑名单机制，对已知的恶意内容进行记录和管理，从而可以更加有效地屏蔽其出现在生成的数据中。
其二，在标准层面，制定规范化的技术标准可以规范生成式人工智能的研究、开发、应用等环节，提高生成式人工智能技术的安全性和可靠性，从而确保输出内容符合公序良俗、法律法规的要求。目前，国际上已经开始制定一些标准来规范人工智能技术的伦理和道德问题，其中部分内容涉及恶意内容的生成和传播。如电气和电子工程师协会（IEEE）制定的关于预防算法偏差的标准IEEEP7003，该标准提供了恶意内容生成的风险评估框架和流程，以及相应的预防和应对策略。然而，由于人工智能技术的快速发展和广泛应用，标准制定一定程度上滞后于技术发展和应用，无法及时跟上技术和需求的变化，也影响了标准的实施和应用效果，标准完善的问题仍然需要进一步关注。一方面，由于恶意内容生成风险是一个全球性的问题，因此需要制定统一的标准和规范，以便不同国家和地区之间进行协调和合作。国际标准化组织可以在这方面发挥重要作用，制定全球性的标准和规范，以确保生成式人工智能技术的安全和合法性；另一方面，标准和规范应当具有可操作性和可实施性，能够为研究人员和从业者提供具体的指导和帮助。
其三，除了在技术和标准层面进行治理外，应针对恶意内容生成风险加强相应的立法和监管。例如，欧盟在2021年发布了《欧洲人工智能法规框架》，其中就对人工智能技术内容生成进行了规范。该法规要求开发者和提供者对其技术的应用进行评估和风险管理，确保其生成的内容不包含任何具有欺骗性、误导性、令人厌恶、令人不安等信息。我国《互联网信息服务深度合成管理规定》也为加强对恶意内容生成风险的管理和治理提供了详细和具体的法律依据。《生成式人工智能服务管理暂行办法》更是通过多条规则对生成内容的准确性、合法性、正当性以及违反规定应承担的责任进行规定。这些规范将使开发者和提供者更加负责任地使用人工智能技术，避免生成有害或欺骗性内容。未来，我们需要进一步加强对上述规定的执行和监督，推进以“‘风险预防规则’和协同治理模式为核心的”“全过程治理”，以便促进生成式人工智能技术的健康发展。
虽然我国已经出台了一系列法律法规对人工智能技术进行规范，但是对于生成式人工智能恶意内容生成风险的规范还存在不足。一方面，由于人工智能技术的复杂性和隐蔽性，监管部门和执法机构在检测和防范恶意内容生成风险方面存在一定的难度，也存在一定的滞后性，很难实现对生成式人工智能技术的全面监管和有效打击；另一方面，对于人工智能技术恶意内容生成风险的处罚措施较为单一，主要集中在罚款和停业整顿等行政处罚上，对于一些严重违法行为，如恶意传播虚假信息、侵犯他人隐私等，缺乏更具震慑力的刑事处罚。针对上述问题，建议我国进一步完善相关法律法规，加强对生成式人工智能技术的监管和执法，同时加强对相关违法行为的惩罚力度，确保对恶意内容生成风险的及时发现和有效打击。此外，还需要加强与国际社会的合作，借鉴国际先进经验，共同推进生成式人工智能技术的安全发展和管理。
往期精彩回顾
上海市法学会官网
http://www.sls.org.cn