论文综述|AI生成式内容(AIGC)的架构、安全威胁和监管方案

作者: Yuntao Wang and Yanghe Pan and Miao Yan and Zhou Su and Tom H. Luan

论文链接: https://arxiv.org/pdf/2305.18339.pdf

随着ChatGPT等大型人工智能（AI）模型的广泛应用，AI生成式内容（AI-Generated Content, AIGC）引起了全球范围内的广泛关注，正引领着内容创作和知识表达的范式转变。AIGC利用生成式AI大模型，根据用户提供的提示，以更快的速度和更低的成本辅助或替代人类创建大规模、高质量、类似人类的内容。尽管AIGC最近取得了重大进展，但仍需解决来自安全、隐私、伦理和法律方面的挑战。

西安交大研究团队推出的最新综述《A Survey on ChatGPT: AI-Generated Contents, Challenges, and Solutions》，本文深入调研了AIGC范式的工作原理、安全和隐私威胁、最新解决方案以及未来挑战。具体而言，首先探讨了AIGC的使能技术、体系架构，并讨论了其工作模式和关键特性。接着，研究了AIGC安全和隐私威胁的分类，并强调了GPT和AIGC技术的伦理和社会影响。此外，回顾了用于可监管AIGC范式的最新AIGC水印技术，包括AIGC模型及其生成的内容。最后，指出了与AIGC相关的相关挑战和未来研究方向。

1

引言

人工智能生成式内容（AIGC）是指利用生成式人工智能算法，根据用户输入或需求来协助或替代人类以更快的速度和更低的成本创建丰富、个性化、高质量的内容，包括文本（如诗歌）、图像（如艺术品）、音频（如音乐）、视频（如动漫）、增强型训练样本，以及3D互动内容（如虚拟化身、资产和环境）。作为PGC（Professional Generated Content）和UGC（User Generated Content）等传统内容生成范式的补充，AIGC范式具有广泛的应用前景，可以自动、高效、低成本地生产大量高质量内容，这对于元宇宙和数字孪生等各种新兴应用至关重要。

从技术角度看，AIGC通常包括两个阶段：（i）提取和理解用户意图信息；（ii）根据提取的意图生成所需内容。2022年11月，OpenAI发布了ChatGPT，这是一个多功能的语言模型，可以生成代码、编写故事、进行机器翻译、进行语义分析等。截至2023年1月，ChatGPT的日活用户达1300万。ChatGPT是GPT（Generative Pre-training Transformer）的一个变体，它是基于Transformer的大型语言模型（Large Language Model, LLM），可以理解人类语言并创建人类可读的文本（如故事和文章），如图1所示。

在AIGC时代，更大的数据集是“燃料”，更大的基础模型充当“引擎”，而无限的计算能力则起到了“加速器”的作用。ChatGPT是由GPT-3.5模型微调而来，其训练数据集由接近1万亿个词的大约45TB的语料集构成。它集成了自监督学习、强化学习和提示学习等多种人工智能技术。ChatGPT训练所需的计算能力约为每天3640 PetaFLOPs，相当于每秒计算10千万亿次，需要3640天来完成。在大数据、大模型和大计算力的工程化组合下，ChatGPT展示出了强大的涌现能力，可以学习新特征和更高级别的模式，并根据用户的多模态提示自动化创建有价值的内容。除了大规模训练数据外，ChatGPT还集成了一系列新技术。

尽管AIGC前景光明，但安全和隐私问题对其广泛应用构成了重大阻碍。在AIGC服务的生命周期中，可能会出现一些安全漏洞、隐私泄露、信任问题和道德问题，这些问题可能源自普遍的数据收集，智能模型/数据盗窃，到大量的网络钓鱼邮件的分发。

1）安全漏洞。AIGC服务在其生命周期的每个阶段都面临着安全威胁。

2）隐私侵犯。AIGC模型的成功在很大程度上取决于广泛的训练数据集，这些数据集不可避免地包含用户的敏感和私人信息。

3）信任问题。AIGC技术的快速发展使得创建和传播虚假信息和假证据，如深度伪造内容和假新闻，变得愈发容易。这导致了诸如AI欺诈、诽谤、身份盗窃和仿冒等新型犯罪活动的出现。

4）道德影响。作为一柄双刃剑，AIGC技术也对人类社会产生了负面影响，并可能被滥用来分发恶意软件、勒索软件和钓鱼邮件。

本文章节组织如下：

在第二节，本文介绍了AIGC的工作原理。

第三节讨论了AIGC中安全和隐私方面的分类和最新对策。

第四节介绍了AIGC模型和内容的知识产权保护和监管方案。

第五节探讨了未来研究方向。

最后，在第六节中得出结论。本文的组织结构如图2所示。

2

AIGC架构

如图3所示，人工智能生成内容即服务（AIGCaaS）的一般架构包括以下三层：（i）基础设施层，（ii）AIGC引擎层，和（iii）AIGC服务层。 

• 基础层。随着大型AI模型（如参数达1750B的GPT-3）的规模持续扩大，对广泛的计算能力，强大的AI算法，和大量训练数据的需求日益增长。对于ChatGPT，大计算能力，大数据，和大模型的组合释放出了其在学习用户提供的多模态提示并自动生成高质量内容方面的强大的突现能力。

• AIGC引擎层。多模态基础模型（如GPT-4）在大量的多模态数据上进行预训练，并能在不需要任务特定微调的情况下执行多种不同的任务[33]。此外，各种底层技术，如CoT提示，人类反馈的强化学习（RLHF），和多模态技术，都被集成到训练和优化基础模型中。多模态基础模型作为AIGCaaS的引擎，为上层AIGC服务赋予了越来越强的实时学习能力。此外，多模态基础模型可以通过与数十亿用户的实时和密集交互进行逐步的演化和优化，因为它允许从更多的私有数据（如用户输入和历史对话）以及个人和机构的反馈中学习[38]。 

• AIGC服务层。从能力的角度看，AIGC服务包括生成文本，音频，图像，视频，代码，3D内容，数字人，和多模态内容。从终端用户的角度看，AIGC服务可以分为两种类型：ToB（面向业务）和ToC（面向消费者）。

3

AIGC工作模式及其应用

在未来，AIGC有可能完全取代简单和非创新的人类工作，同时也加速了人机协作时代的到来。AIGC在内容生成方面有两种主要模式：辅助生成和自主生成[5]。

• AI-Assisted Content Creation（需要人类干预）。在这种模式下，AI算法为创造内容的人类提供建议或帮助。然后，人类可以根据AI提出的建议编辑和改进内容，以提高最终产品的质量。然而，这种模式在内容创建上往往比较慢且成本更高。

• Autonomous Content Creation by AI（不需要人类干预）。在这种模式下，AI完全自主地创造内容，没有任何人类的干预。AI机器人可以自主快速且低成本地创建大量内容，而产生的内容质量取决于生成的AI模型。

其中AIGC的主要应用如下所示:

1）文本生成。大型语言模型（LLM）可以比人类作者更快、更有效地生成高质量的文本 [10]。这包括博客、新闻、代码、文章、营销副本和产品描述。此外，它使聊天机器人和虚拟助手能够通过AI生成的文本以人类的方式与客户和客户进行沟通。

2）图像生成。大型视觉模型（LVM）可以将草图转化为数字绘制的图像，用于各种目的，包括创造视觉艺术、广告图片、游戏场景、驾驶模拟环境以及增加训练样本。

3）音频生成。AI生成的音频有着广泛的应用，包括语音合成、音乐创作和声音设计。如Amper Music这样的音乐创作AI程序，允许用户使用AI创建原创音乐。

4）视频生成。AI生成的视频可以广泛用于虚拟现实、增强现实、营销、广告、娱乐和教育等各种领域。

5）3D内容生成。AIGC可以通过分析照片和视频等真实世界的数据来创建逼真的3D模型，AI生成的3D模型可以用来创建动画、游戏资产和产品设计。

6）数字人生成。AIGC可以生成具有高度逼真动作和表情的数字人，可用于游戏、虚拟现实和广告等各种领域。

7）跨模态生成。AIGC中的跨模态内容生成指的是使用基础AIGC模型在多种模态之间生成新内容 [3]。它包括文本到图像、图像到文本、文本到代码、文本到视频、文本到音频等。

4

潜在问题和解决方案

总的来说，AIGC让生活变得更加便捷和高效，但人工智能生成内容（AIGC）也存在几个问题，包括安全和隐私威胁、伦理和社会影响以及法律挑战：

1. AIGC的安全威胁主要包括数据中毒攻击、模型中毒攻击、对抗样本、海绵样本、数据准备和注释中的偏见、数据滥用和问责问题、数据收集中的知识产权问题、生成式AI模型的知识产权问题、越狱和提示注入；

2. AIGC 的隐私威胁主要包括广泛的私有数据收集、与AI交互的隐私泄漏、AI Memory中的数据窃取、数据重构攻击、成员推理攻击、数据收集中的隐私合规性、从AI Memory中遗忘和Prompt窃取；

3. AIGC 的信任问题主要包括AIGC生成内容的可信性、AIGC制造虚假内容、冒充威胁、虚假身份威胁和缺乏可解释性。 

4. AIGC 的伦理问题主要包括大量钓鱼邮件生成、即使恶意代码生成、有害和暴力内容生产、智能网络欺诈、对AIGC服务过度依赖和技术垄断风险； 

本文还讨论了应对这些挑战的各种解决方案和方法，例如水印、监管和道德准则。

现有和潜在的AIGC领域中的IP保护和监管方法包括数字水印、加密、硬件、区块链和法律法规，如下：

1. 基于数字水印。数字水印在保护知识产权和实现AIGC模型和内容的可问责性方面扮演着重要角色。数字水印本质上可作为数字指纹嵌入到AIGC模型及其生成的内容中，从而验证所有权并防止未经授权的模型使用或侵权行为。 

2. 基于密码技术。在AIGC领域，密码学在保护知识产权方面扮演着重要角色。(i) 加密技术可用于建立访问控制机制，以确保只有授权实体可以访问受保护的内容。数字版权管理（DRM）是这类方法的一种常见应用。(ii)将密码技术与数字水印技术相结合是实现知识产权保护的另一种方式。

3. 基于硬件。基于硬件的知识产权保护方法为保护AIGC提供了一种高度安全和高效的手段。

4. 基于区块链。区块链的不可篡改性和可追溯性使其成为记录和验证知识产权的理想解决方案，提供了一种安全、高效和可信的AIGC知识产权保护的手段，同时，区块链的可扩展性和性能也在将区块链系统整合到AIGC服务中面临重大挑战。

5. 基于法律法规。法律法规在AIGC服务中发挥了重要作用。从硬法律角度看，可以实施具有约束力的法律工具（例如版权法），以规制AIGC模型及其生产的内容的使用。因此，它为AIGC模型和内容的创建者和所有者提供了法律保护，从而防止未经授权的使用或复制他们的作品。

5

未来挑战和研究方向

该论文确定了与人工智能生成内容（AIGC）相关的几个未来挑战和开放的研究方向，例如：

5.1.绿色的AIGC架构

对于诸如ChatGPT等AIGC大模型，通常需要巨大的算力进行模型训练和服务，从而造成了巨大的能源消耗和环境问题，在这一领域的开放性研究问题包括最优云边资源共享、自动化和自适应模型压缩、专用人工智能芯片设计，以及能源消耗与性能之间的平衡。

5.2. 可解释的AIGC模型

目前的生成式人工智能模型即AIGC模型通常被认为是黑盒，由于它们缺乏透明度和可解释性，这使得难以理解它们的决策过程。这引发了关于偏见结果、安全威胁和道德考虑的担忧，从而亟需开发可解释的AIGC模型。

5.3. 分布式和可扩展的AIGC算法

随着各行业对AIGC服务和应用的需求不断增加，现有的中心化AIGC范式可能难以应对激增的AIGC模型推理和服务，导致AIGC服务延迟高、可扩展性低。因此，需要一种分布式AIGC范式，通过并行化分布式任务处理，从而减少大规模AIGC任务所需时间，并增加可扩展性。

5.4. 可信和可监管的AIGC服务

AIGC服务的兴起引发了有关其生成内容的质量、可靠性和可信度的担忧。实际上，AIGC模型有可能生成虚假信息或错误内容，导致误导信息、虚假视频和宣传。此外，评估AI生成的内容的真实性可能会很困难。AIGC服务应符合相关法律法规，以保护公众利益、防止危害和确保问责，可以整合多种技术为确保AIGC服务的可信度和可监管性。

5.5. 设计安全的AIGC服务

为各种应用中对AIGC服务日益增长的需求，开发能够抵御攻击、保护敏感数据和保护用户隐私的安全设计的AIGC系统对减轻潜在威胁至关重要。设计安全的AIGC系统确保安全不是事后措施，而是系统架构设计中一个不可分割的部分。特别是，需要提前考虑到人工智能可能带来的潜在安全风险，并将安全措施嵌入到AIGC系统的设计和开发中。

6

总结

ChatGPT和AI生成式内容技术的快速兴起带来了内容创造方面的重大进展。然而，它也带来了诸如越狱、数据盗窃、深度伪造和有偏见/有害内容等安全威胁。

为跟上AIGC时代的进展，本综述从安全威胁与防御的角度对AIGC进行了全面的回顾。

本文首先介绍AIGC的工作原理，包括其支撑技术、体系架构、工作模式、关键特征和典型应用。

然后，指出了现有和潜在的GPT和AIGC中的安全/隐私威胁、信任、伦理问题。此外，综述了AIGC的最新监管解决方案，以及当前解决方案的挑战和限制。

最后，讨论了AIGC框架的绿色、可解释、有效性、可问责和设计安全等方面的未来研究方向。

本综述的主要目标是为AIGC提供工作原理、安全/隐私/伦理问题和潜在对策方面的综合洞察，并引领该领域更多的创新举措。

脚注对应的参考文献请阅读原文

原文链接：https://github.com/Yentl-Wang/ChatGPT-Survey/issues/1

分享仅供学习参考，若有不当，请联系我们处理。

END

往期推荐

1.论文分享 | 基于差分隐私的多方对偶学习
2.笔记分享 | 组队学习密码学（3）——隐私求交协议的变体和应用3.论文详解丨联邦持续学习的最新研究进展4.论文分享 | 可信执行环境软件侧信道攻击研究综述