首部生成式AI管理办法要来了！我们划了9个重点
作者 | 卷毛
编辑 | 张洁
头图 | 文心一格
* 今日头图使用文心一格创作，关键词“人群低头看手机，走在街道上，科技潮流，未来城市，赛博朋克”
“狂飙”的AIGC产业刚刚迎来国家级规范性政策。
4月11日，国家网信办就《生成式人工智能服务管理办法（征求意见稿）》（以下简称《意见稿》）公开征求意见。
监管一出手，11日下午ChatGPT相关概念股大幅回调，但热度不减。有的游走在灰色地带的人慌了，有的AI创业者却更加乐观了。
无界AI商务与市场总监李本涨认为，现在很多企业开始将生成式AI融入自己的业务生态，如果有明确的标准、具体的规则可以遵循，那么大家使用AI产品时都会更安心。而且，他希望在监管下，创业者能有更多创新、与互联网巨头公平竞争的机会。
从百度的文心一言到阿里的通义千问，国内各大厂相继发布生成式AI产品。尽管国内大模型研究和商业应用仍处于发展初期，但监管政策“来得很快”，这份《意见稿》对生成式AI技术、生成内容、主体责任、数据源和数据处理等方面都做出了规定。
有网友担心这才刚起步就开展监管是不是太早了？在追赶海外同行的情况下会不会造成阻碍？
实际上，数据安全作为AI发展的前提，近日已被多国提上监管日程。
本周二，美国政府也开始研究是否需要监管ChatGPT。据《华尔街日报》报道，美国商务部就相关的问责措施正式公开征求意见，包括具有潜在风险的新型人工智能模型在发布前是否应该进行核准认证程序。
“人工智能会让我们的生活变得更美好，还是会造成灾难性的后果？”随着新技术的迅猛发展，人们愈加关注生成式AI本身的安全风险以及所引起的负面影响。
围绕这份《意见稿》，“头号AI玩家”和AI从业者、有关专家聊了聊此次新规释放了哪些信号，对AIGC产业会产生哪些影响？
以下是我们划的几个重点：
我国是最早对人工智能进行监管治理的国家之一。
比如AI写作领域有一个典型案例。2018年，腾讯研发的AI智能写作助手Dreamwriter生成了财经文章发布后，未经授权许可被其他网站复制并传播。对此，腾讯提起了维权诉讼，认为其侵犯了腾讯及Dreamwriter的著作权。
2020年初，法院判决AI生成作品属于著作权法保护范畴，最终腾讯胜诉。这是国内首例人工智能合成作品维权的案例。
2022年，中国首部专门针对人工智能特定技术制定的法规《互联网信息服务深度合成管理规定》正式发布，已于今年1月10日施行。而此前《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》《网络信息内容生态治理规定》等法律法规中亦涉及到AIGC、深度合成等内容。
近日多起AI换脸或AI换装的争议事件
基于此，中伦律师事务所合伙人马远超认为，这次颁发征求意见稿不算是“突发性”事件，并且，这份《意见稿》可视作《互联网信息服务深度合成管理规定》的升级版。有些内容是对深度合成规定的延续、细化，有的内容则是首次提出，例如第四条、第七条、第十七条。
AIGC行业将从野蛮生长走向合规发展
先从整体基调来看，本次新规是为了促进生成式人工智能健康发展和规范应用，对支持行业合规发展传递出积极的信号。
第三条 国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。
多位从业者表示这意味着“野蛮生长的时代要结束了”。
李本涨告诉我们，他很高兴看到国家推动AI行业朝着合规有序的方向发展，一方面说明一些行业乱象会得到治理，整个行业会得到更多认可和资源投入，另一方面，这也能够让无界AI在未来的产品规划以及业务发展思路上有更多的参考依据，从“走得更快”变成“走得更快更稳”。
防止AI生成歧视、虚假信息
从内容来看，AI生成内容同其他互联网上的内容一样，应当遵守法律法规的要求，尊重社会公德、公序良俗。
第四条提到的涉及政治、涉黄涉暴等敏感内容，一直都是互联网内容风控审核的重点。特别强调的是，AI生成内容还应当真实准确，防止生成虚假信息和带有歧视性的内容。
第四条（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取措施防止出现种族、民族、信仰、国别、地域、性别、年龄、职业等歧视。
第四条（四）利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。
在AI绘画中，如果用户输入特定关键词就有可能生成现实中不存在的图片，以假乱真，比如前一阵子海外热传的用AI生成的“特朗普被捕”照片。
ChatGPT同样会生成合乎逻辑但与事实不符的错误“幻觉”，这是AI大模型的“通病”。
为此，我们需要让AI更好地理解人类的价值观和道德观念。除了不断完善和迭代模型，目前AI产品提供者会采取内容过滤、人工审核等风控措施。
李本涨表示，无界AI在训练模型和生成图片时会尽量还原真实效果，避免一些涉嫌歧视的“刻板印象”，如果遇到类似产出，也会迅速调整模型相关的训练内容。同时产品设置了关键词约束规则，可以避免违规内容生成，发布后会再通过算法和人工对图片进行审核，另外还设立了用户举报机制。
输入“密室杀人现场”，只生成了房间
个人信息保护是重要防线
近期ChatGPT的一些用户消息和支付信息泄露后，意大利数据保护机构Garante宣布禁止使用ChatGPT，命令其公司OpenAI暂停处理意大利用户信息，并开展调查。
这是全球范围内针对ChatGPT的第一道政府禁令。此后德国、加拿大、法国等国家也开始考虑效仿意大利，加强对Al数据安全的监管。
可见，保护好个人信息和商业秘密的内容是AI生成内容的重要防线。
第四条（五）尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。
第十一条 提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。法律法规另有规定的，从其规定。
在《意见稿》公布前夕，中国支付清算协会网站发布了“关于支付行业从业人员谨慎使用ChatGPT等工具的倡议”。像金融支付属于数据密集型行业，对信息安全防护的要求很高，海外就有企业员工把工作数据输入到ChatGPT中，这种行为涉嫌违规。
模型训练数据来源要合法，不能侵权
《意见稿》对AI模型数据来源的合法性提出了新要求，其中一点要求“不含有侵犯知识产权的内容”。
此前就有AI绘画的反对者声称AI使用了版权作品作为训练素材，侵犯了原创者的权利。今年3月，聚集大量写手和画手的兴趣平台lofter，因为部分创作者反对而下线了AI创作功能。
部分lofter用户停更且更换为抵制AI的头像
马远超认为，关于数据源的知识产权保护落地会有一定难度，但也要具体情况具体分析。
例如对独创性相对较低的作品，增加了纯属巧合、生成相似作品的概率，这会对一方权利人维权带来难度。对训练时使用第三方作品是否构成合理使用，也有争议。但某些场景比较容易维权，例如未经许可输入他人的注册商标进行训练，导致输出相似的成果。
防止用户沉迷AI生成内容
目前有不少学生群体在使用AI帮助自己写作业、写论文了。据媒体报道，一位海外大学生用ChatGPT写出了一篇世界宗教课的“满分论文”，结果因为过于完美而被教授发现。
为了防止学生作弊，美国、日本、法国等地区的部分高校就声明禁用AI工具。比如香港大学的内部信提到，有学生要使用相关应用程序，须获得课程导师书面同意，若有违规，将被视为潜在抄袭。
由此，我们看到《意见稿》要求用户应实名登录，提供者还要采取防沉迷措施。
第十条 提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。
调用API的提供者，也要承担相应责任和义务
在ChatGPT爆火后，国内出现了很多调用其接口提供服务的AI小程序、APP或社群，但有的因为因违规而被平台封禁。
《意见稿》对AI模型提供者，以及调用接口进行二次开发的服务商都提出了一系列要求，比如第六条要求提供服务前向国家网信部门申报安全评估，做好备案；第十四条要求提供安全、稳定的服务；第十七条要求披露模型描述等必要信息等等。
第五条 利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（以下称“提供者”），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。
第十七条 提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。
国内的提供者可能以往容易忽视这些规定和限制，但新规施行后，都要承担起相应的责任和义务了。
AI生成的内容要有标识
按照《互联网信息服务深度合成管理规定》，提供者还应对生成的图片、视频等内容进行标识。
有标识的AI生成视频
目前对标识的具体方式还没有很清晰的解释。但加上标识是有利于整治行业乱象的，例如上文提到的换脸造谣事件，AI服务提供方可以依据标识快速辟谣、进行追责。
提供者要接受用户投诉，及时处理违法违规内容
今年1月，图库商Getty Images以侵犯版权的名义，起诉了Stable Difussion的公司Stability AI，后者回应称会在新版本添加一个“退出（opt out）”选项，用户可以让AI模型不再收集其作品作为训练数据。
他们还与HaveIBeenTrained网站合作，允许艺术家在Stable Diffusion的训练数据集中搜索自己的作品并选择删除。
类似的，《意见稿》显示国内AI提供者也要建立用户投诉通道，及时处理侵权作品等违规违法内容，并且避免再次生成。
第十五条 对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。
此外，对于涉及炒作营销等违规内容，AI提供者应暂停或终止用户服务。
第十九条 提供者发现用户利用生成式人工智能产品过程中违反法律法规，违背商业道德、社会公德行为时，包括从事网络炒作、恶意发帖跟评、制造垃圾邮件、编写恶意软件，实施不正当的商业营销等，应当暂停或者终止服务。
Tiamat的关键词违禁提示
新兴技术的发展和监管合规其实是相辅相成的关系。人工智能技术的发展趋势，一定是跨地域跨国界的，未来数据跨境传输、存储、使用将成为数据安全保护的重大挑战。
【今日头图】
使用文心一格创作，关键词“人群低头看手机，走在街道上，科技潮流，未来城市，赛博朋克”，艺术创想风格。
本文由「头号AI玩家」（ID:AIGCplayer）原创发布，而非AI生成。欢迎留言与我们交流，如需转载请留言。
后台发送关键词“头号AI玩家”进AIGC交流群，与我们一起玩耍，共同学习、探索、见证AI的进化。
也欢迎你分享、点赞、在看
一起研究AI