欧盟的人工智能法案正朝着不存在的人工智能标准方向发展（外专观点）

编者按

关于人工智能安全和监管，本公号发布过以下文章：

今天和大家分享的是还是一篇翻译，关于欧盟的人工智能法案中规定需要制定的安全标准。

监管人工智能（AI）的努力必须旨在平衡保护个人的健康、安全和基本权利，同时获得创新的好处。这些法规将保护人们免受物理伤害（如人工智能汽车坠毁）、不太明显的伤害（如系统化的偏见）、滥用的伤害（如深度伪造）以及其他伤害。世界各地的监管机构都在关注欧盟的人工智能法案（AIA），它是这些努力中第一个也是最大的一个例子，说明如何才能实现这种平衡。它是衡量所有未来监管的标准。值得注意的是，该法案本身只是为了勾勒出这种平衡的高层图景。从2023年初开始，配套的技术标准将与该法案同时制定，它们最终将负责建立许多权衡；早期迹象表明，制定有效的标准将是非常困难的。

囿于不愿在保护公民方面做出妥协，避免阻碍创新的地缘政治压力，以及人工智能的技术复杂性，欧盟试图创建人工智能技术标准将不仅仅是一个挑战——它很可能是一个不可能的愿景。如果是这样的话，有几种可能的结果，欧盟将需要认真考虑是否愿意忽视一些最先进的系统的固有缺陷。

人工智能标准：介于岩石和硬地方之间

历史上，欧盟一直愿意以创新为代价优先保护其公民，但它可能无法在人工智能方面做到这一点。美国、中国和其他国家似乎更倾向于在制定技术上可行的标准之前允许人工智能开发者进行开发；欧盟担心，更谨慎地行事有可能削弱其全球相关性。虽然所有的监管都涉及平衡这种妥协，但欧盟的妥协空间如此之小是不寻常的。

欧盟的产品立法是有意模糊的，但无论是最初的AIA提案还是欧盟理事会最近的提案，都没有对如何处理这些紧张关系说太多。两个版本都要求采取"适当的风险管理措施"，并根据"初步确定的适当指标"进行测试，但几乎没有说明 "适当"和"适当"的含义，这样的措辞就事实上允许存在更多或更少的限制性实施。虽然这些文本给出了他们希望的各种要求的全面框架，但他们没有提供技术细节。像所有欧盟产品立法一样，AIA的目的是提出基本要求，其具体程度足以建立具有法律约束力的义务，并为这些要求的实施和维护搭建制度性框架。

由协调标准（harmonized standards）来填补该法案留下的空白，因此标准制定者首当其冲地承担了权衡这种妥协的责任。他们既要设定系统必须达到的标准（通过定义测试和衡量标准），又要概述系统应该如何开发（通过描述可以使用的工具和流程）。遵守协调标准是为了提供一种"客观可核查"的方式来遵守欧盟立法的基本要求。那些选择遵循这些标准的人受益于其相关的"符合性推定"，这意味着遵守这些标准就等于满足了基本要求；那些选择不遵循这些标准的人通常必须证明他们的替代解决方案至少在保护消费者方面与协调标准一样好。尽管协调标准是自愿性质的，但它们具有重要的意义。

AIA协调标准的制定面临着最后一个制约因素：技术可行性。对于像人工智能这样复杂的技术来说，将标准落在纸面上总是一个挑战，但很少有人意识到这是多么大的一个挑战。麻省理工学院的机器学习研究员Aleksander Madry在谈到有效的人工智能标准的技术可行性时说："我们还没有到那一步"。如果没有特别的限制性，目前还不清楚人工智能标准是否能充分保护消费者。

人工智能标准的技术可行性

为了确保对欧盟公民（以及我们所有人）的保护，我们希望人工智能系统能够尊重人类的安全和基本权利。理想情况下，我们希望构建标准，规定人工智能系统应该如何制造和测试，既尊重这些原则，又不过分繁琐。然而，目前我们不知道如何制造最先进的人工智能系统，以可靠地遵守这些原则。更令人担忧的是，我们甚至不知道如何测试系统是否遵守这些原则。一些较简单的人工智能技术可能是可控的，但那些推动最近进步的技术——神经网络——在很大程度上仍然是不可捉摸的。它们的性能日渐提高，但它们继续以不可预测的方式行事，并抵制补救措施的尝试。

要让神经网络变得可靠是很困难的，因为虽然它们的行为是由数据指导的，但它们可以以不直观和意想不到的方式从数据中学习。它们可以学会识别图像的背景，而不是它们应该识别的对象，并学会在像素中识别不相关的和难以察觉的模式，而这些模式恰好在它们被训练的数据上起作用。这种可能性使它们同样难以测试，因为并不总是清楚应该测试什么，而且观察者不断地对这些系统的失败方式感到惊讶。学术界对神经网络对像素中难以察觉的模式的依赖感到惊讶，这一点只有在有人想到要对系统进行测试时才会发现。最近，用户找到了使OpenAI的ChatGPT（一种由神经网络驱动的聊天机器人）在数小时内产生潜在危险内容的方法，尽管世界领先的研究人员进行了开发和测试以避免这类反应。几乎不可能预测到神经网络的大多数潜在故障模式；随着神经网络应用的领域变得更加复杂，这一点就更加真实。当涉及到制定一个测试"稳健性 "或 "准确性"的标准时，就像欧盟准备做的那样，不太可能创建一个没有重大漏洞的测试网。

对这些事实的某种程度的认识，推动了大多数人工智能法规中对人工智能系统的人类监督和透明度（或可解释性）的要求。其理由是，如果系统不能表现得很好，人类至少应该得到验证和控制系统所需的工具。同样，这些要求在理论上听起来不错，但没有明显的方法将其付诸实践。例如，让神经网络变得可解释是出了名的困难：卡内基梅隆大学的机器学习研究员扎卡里-利普顿（Zachary Lipton）说，"在这个领域认真工作的人都知道，今天大多数可解释的人工智能都是无稽之谈"；2020年的一项研究表明，著名的工具LIME和SHAP（已经被限制在解释个别决策，而不是系统的一般决策）可以被滥用，使不可信的模型看起来很可靠；该领域的一项总结认为，"我们何时或甚至是否能够部署真正可解释的深度学习系统（例如，神经网络），仍然不清楚"。如果这些措施有效，它们将是有用的，但目前它们仍然是一厢情愿的想法。

这些困难（例如，当自动驾驶的特斯拉错过一个停车标志并导致致命的车祸，或者当自动化系统在整个招聘过程中引入偏见时）并不是因为工程师忽视了已知的最佳实践，或避免众所周知但昂贵的技术干预，或跳过那些能够显示他们的产品不安全的测试。真正的原因在于：目前不存在这样的最佳实践、干预或测试。如果世界上领先的工程师都不能找出这些问题，那么欧盟标准制定者可能就没有什么希望了。

这并不是说这种情况完全没有希望。对于狭窄的、低风险的应用，目前不完善的工具，再加上特定应用的标准，可能就足够了。此外，要求监测、记录和保存记录的标准，将是剔除问题系统的宝贵部分。然而，对于应用于AIA所处理的那种高风险应用的神经网络，似乎不太可能有人能够制定标准来指导开发和测试，使我们对这些应用是否尊重健康和基本权利有足够的信心。我们可以随心所欲地抛出风险管理系统、监测准则和文件要求，但这不会改变这个简单的事实。它甚至有可能给我们一种错误的信心。面对这一现实，欧盟将需要避免制定依赖不完善的测试或透明度工具的薄弱、无效的标准。除了使用标准来设定一般性的高标准，以至于在许多情况下排除神经网络的使用，可能没有什么可做的。

接下来会发生什么？

三个欧洲标准组织（ESO）中的两个（其为独立于欧盟的组织），将负责制定AIA的协调标准，并直面这些技术问题。欧盟最近授权欧洲标准化委员会和欧洲电工技术标准化委员会制定标准。这两个组织汇集了欧盟成员国的标准机构，他们提出了专家分组的技术委员会来起草标准。在与来自工业界和民间社会的利益相关者协商后，标准由标准机构投票通过。人权组织已经对授权给这些行业主导的组织感到紧张，这些组织在考虑人身安全方面的经验多于平等和公正等人权。不管怎么说，这个过程预计将在2023年初开始，有几个可能的结果。

1. ESO制定宽松的标准

ESO可能会制定过于宽松的标准。评估人工智能系统的方法确实存在，但如前所述，它们已被证明在很大程度上是不完善的，有些甚至可以被用来批准可疑的系统。对这些方法的依赖将使AIA失去作用，而危险的人工智能系统可以进入市场。如果标准的制定完全掌握在ESO（拥有巨大行业利益的组织）手中，这种结果可能是最有可能的。

2. 标准是无益的或未完成的

ESO远不是开发人工智能标准的唯一组织。然而，到目前为止，已经公布的标准倾向于保持高层级，避免了技术细节。例如，美国国家标准与技术研究所（NIST）正在创建一个人工智能风险管理框架，但它只具体解释了 "对最重要的风险的反应，[......]被开发、计划和记录"，或者提到定义过于抽象的技术术语，无法直接操作。

像NIST这样的工作是很重要的，它汇编并澄清了四处流传的许多想法。但ESO将无法利用同样的模糊性来规避创建有效的人工智能技术标准这一几乎不可能的任务。与其他组织不同，他们必须制定"客观可验证"的要求，这一点在标准正式成为协调标准之前，由协调标准顾问（由欧盟从安永会计师事务所聘请）确认。如果标准制定过程因顾问的不断拒绝而受阻，欧盟委员会可以决定自己制定标准。

如果进程受阻，欧盟委员会不制定自己的标准，如果法案在标准定稿前就生效，或者如果模糊的标准以某种方式通过顾问，那么欧盟将不得不在没有标准的帮助下前行。在需要第三方评估的体系中，国家指定的评估员（称为通知机构）将需要做这种准备。在自我评估的情况下，或者如果通知机构被认为错误地批准了一个产品，最后一道防线就是国家指定的市场监督机构，它们对哪些产品被允许进入欧盟市场拥有最终决定权。无论他们最终选择多么严格或宽松，缺乏有用的标准将导致逐案决定，产生昂贵、冗长的过程，充满灰色地带和不一致的裁决——这对所有相关人员都是不理想的结果。

3. 欧盟咬住监管不放

创建技术标准的斗争表明了一个令人不安的事实——对于更复杂的人工智能系统，基本要求可能根本无法满足。这不一定是一件坏事。如果对于足够复杂的系统来说，没有"合适的风险管理措施"，那该怎么办？一些观察家可能会感叹创新的代价，但这肯定也是一个迹象，表明这种系统不应该被使用，市场当局（欧洲或其他）应该拒绝它们。如果对人工智能系统的最低期望值已经确立，而这些系统没有达到最低期望值，那么这不是一个需要改变期望值的信号，而是一个应该改变系统的信号。这可能意味着要抵制地缘政治压力，并使用功能较少、较简单的人工智能系统，直到获得对尖端系统的更深入了解。

这看起来是神经网络的情况，除非在未来几年内出现知识飞跃。如果没有能力专门为它们设计有效的测试和开发流程，唯一可行的解决方案可能是为它们的使用设定较高的、可能是针对特定环境的标准，这就避免了混乱的、不甚了解的细节。如果开发者希望部署神经网络，他们将有责任说服世界他们的系统符合这一标准。

虽然欧盟可能是第一个面临这一难题的国家，但它肯定不会是唯一的。世界各地都在对人工智能进行监管，某个人、某个地方将不得不对哪些系统足够好做出决定。可以理解的是，监管者希望“有自己的蛋糕，也想吃它”——他们希望从最先进的人工智能系统中受益，同时也是安全和值得信赖的。鉴于这可能是不可能的，他们只是通过创造模糊的监管来推迟不可避免的事情。必须要做出艰难的决定。监管机构将需要决定他们愿意做出哪些让步。他们将不得不接受，在某些情况下，避免风险并不是另一个风险管理系统的问题，它可能需要对人工智能踩刹车。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

地缘政治与跨国科技公司运营之间的互动影响：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

关于健康医疗数据方面的文章有：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于《数据出境安全评估办法》的系列解读文章

美国方面的个人信息保护立法的文章：

关于个人信息安全影响评估的文章如下：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的文章：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

本公号发表过的关于数据要素治理的文章有：

关于中美与国家安全相关的审查机制，本公号发布过以下文章：

关于个人数据和域外国家安全审查之间的关系：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

关于业务场景中数据跨境流动的文章如下：

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：