关于生成式AI安全标准化需求的两点想法

编者按

关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：

今天，和大家分享公号君在今年4月份关于生成式AI标准化需求会议中的发言提纲。

标准研讨会发言大纲

洪延青

2023年4月7日

首先，新技术新应用方面的规制，监管采取的思路已经是比较具体化的思路。比如，推荐算法、深度合成技术，都有专门的规定。也许未来，生成式AI也可能会出专门的规定。换句话说，当具体的一个技术路线或者应用相对成熟、或者已经或可能被大规模应用，就需要专门的规则。我觉得标准思路可能得跟上。目前，我们已经有机器学习方面的标准，我也在承担自动化决策方面的安全要求的标准。那对于生成式AI，是否应该有一个专门性的标准？

第二点，目前监管方面的规则，主要是我所说的一种从外部治理的思路。什么叫做从外部治理？就是，保持整个技术研发是个黑盒的状态。从外部提出具体的安全要求，比如深度合成的东西，需要有标识（例如水印）；比如提出一些行为方面的禁止性要求，任何人不得利用深度合成技术如何如何。再比如，生成结果必须人工或者技术审核，定期开展安全评估。这些要求总给人感觉很通用，不解渴。推荐算法可以这么要求、深度合成可以这么要求、将来生成式AI也可以这么要求。

也许规则只能这么规定，但咱们的标准就不该还是这种外部治理思路。而是应该深入到黑盒子的内部，抓住一些关键的环节，卡住点、卡住位。

对于生成式AI，我想提两个方面的标准化建议。

目前看来，AI训练的技术思路都是比较“中性化”的，没有带什么价值观色彩。比如大语言模型用的Transformer这个逻辑，这个逻辑打开看，主要是注意力机制、多头注意机制，这体现了模型提出者背后的一种将纷繁复杂的世界模型化的一种努力。这是不可避免的，也是要允许技术创新和发展的。但是训练完之后，以及为什么现在的大语言模型让我们“惊艳”，主要是训练完之后，有一个alignment的环节（即AI的对齐问题）。

所谓的AI的对齐问题（Alignment problem），是指确保人工智能系统的目标和价值观与人类的目标和价值观一致的挑战。随着AI技术的不断发展，强大的AI系统可能会产生不可预测的行为，如果这些行为与人类的利益不一致，那么就可能导致严重的后果。对齐问题的核心是如何让AI系统在没有误解或误导的情况下理解和执行人类的意图。最主要的是保证目标规范：确保AI系统的目标与人类的目标相匹配。这通常涉及到对AI系统进行明确的编程，以便它们能够根据我们的价值观和利益采取行动。

业界目前普遍认为Alignment这个环节中，OpenAI公司使用的基于人类反馈的增强学习（RLHF）是关键。这个环节，用什么样的基准来对齐训练出来的AI，至关重要，是存在价值观的。因为人参与了。

所以我的第一个建议是，能不能就对齐问题，出一个标准要求或者规范。

第二个建议就是所谓的AI发布问题。就是要面向市场了，如何发布、什么样的形式发布、覆盖用户范围是什么样的发布等。Meta 的大模型和OpenAI的ChatGPT就采取了不同的发布形式。

具体来说，AI发布问题（AI deployment problem）是指在将人工智能（AI）系统投入实际使用之前，需要解决的一系列挑战和问题。这些问题涉及到如何确保AI系统在现实环境中的性能、安全性、可靠性、道德和法律合规性等。以往看来，AI发布已经产生了如下问题或者事项：

• 性能：确保AI系统在实际应用场景中能够达到预期的性能水平。这包括训练模型以获得更高的准确性、降低误报率以及优化系统以在实时环境中高效运行。

• 安全性：保护AI系统免受潜在的攻击和操纵。这包括对抗性攻击（如对抗性样本）、数据泄露以及其他可能损害系统安全的行为。

• 可靠性：确保AI系统在各种条件下都能稳定运行。这包括容错、异常检测和处理，以及在不同硬件和软件环境下的兼容性。

• 道德和法律合规性：确保AI系统在实际应用中遵循道德准则和法律规定。这涉及到数据隐私、使用限制、算法歧视和偏见等问题。

• 可解释性：让AI系统能够以一种容易理解的方式与人类交流，使人们能够追踪、预测和解释AI的决策过程。

• 社会影响：评估AI系统对社会、文化和经济等方面的潜在影响。这包括就业机会、收入不平等、技能需求等问题。

• 环境影响：考虑AI系统在生命周期中对环境的影响，包括能源消耗、碳排放和电子废物等问题。

现阶段，发布问题都是公司的高层的决策，并没有考虑这些方面。所以这个环节也是可以有专门的标准规范的。

以上就是我发言的内容，感谢给我这个机会。

关于人工智能安全和监管，本公号发布过以下文章：

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

1. 第二十一期DPO沙龙纪实：数据合规中的自动化技术及其应用

2. 数据保护官（DPO）大湾区沙龙：大湾区数据跨境便利化的安全合规路径和实践案例-纪实

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

关于健康医疗数据方面的文章有：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

1. 认证制度为中国个人信息跨境流动保驾护航

2. 专家解读｜《个人信息出境标准合同办法》出台 贡献数据跨境流动中国方案

美国方面的个人信息保护立法的文章：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

本公号发表过的关于数据要素治理的文章有：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：

关于个人数据和域外国家安全审查之间的关系：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于中美与国家安全相关的审查机制，本公号发布过以下文章：

关于个人信息安全影响评估的文章如下：

针对已公开数据的个人信息保护研究，本公号发表过以下文章

关于我国《个人信息保护法》相关文章包括：

关于业务场景中数据跨境流动的文章如下：

1. 欧

关于我国数据跨境流动监管体制变革的系列文章：