欧盟就《人工智能法案》达成协议

2023年12月8日，欧盟各方就《人工智能法案》达成协议。作为全球第一部针对人工智能的全面监管法规，《人工智能法案》旨在规范人工智能的使用，平衡科技发展与公民基本权利保护。

作者丨蔡荣伟 何静澜

2023年12月8日，在为期三天的马拉松式会谈后，欧盟理事会/ the Council of the European Union和欧洲议会/ the European Parliament谈判代表成功达成了关于人工智能统一规则提案的临时协议（以下称为“2023《人工智能法案》”）。

一、立法进程

1、2020年10月，欧盟理事会在特别会议上讨论了有关人工智能的话题。欧盟理事会认为，欧洲需要在安全、可信及合乎道德的人工智能发展方面成为全球领导者。欧洲理事会邀请欧盟委员会/ the European Commission对“高风险人工智能系统”提供一个清晰的，客观的定义。

2、2021年4月，欧盟委员会发布了一项《人工智能法案》的提案（以下称为“2021提案”）。根据2021提案：使用人工智能时可能造成四种不同程度的风险：（i）不可接受的风险/ unacceptable risk，（ii）高风险/ high risk，（iii）有限风险/ limited risk，以及（iv）低风险/ low or minimal Risk。

3、2022年12月，欧盟理事会表达了同意《人工智能法案》的立场同时，提议了修改内容（以下称为“2022欧盟理事会立场”）。欧盟理事会表达立场后，需待欧洲议会表达立场。

4、2023年6月，欧洲议会表达了其愿意进一步就《人工智能法案》进行谈判的立场（以下称为“2023欧洲议会立场”）。欧盟理事会与欧洲议会开始进入谈判阶段。

5、2023年12月，欧盟理事会与欧洲议会成功就2023《人工智能法案》达成了协议。最终协议文本将由欧盟理事会与欧洲议会（作为欧盟的联合立法者）共同发布。该2023《人工智能法案》将于2026年生效。

二、重点内容

1、“人工智能系统”的定义

点击可查看大图

根据最新的定义，“人工智能系统”的输出不一定针对的是人类给定的明确的目标：

a. 例如，训练人工智能大模型时，最终目标并没有在编程中明确的体现，人类老师系通过给予高评分/奖励等隐含的方式，激励人工智能输出高分回答。

b. 又如，用于个性化推荐的人工智能大模型，在一步步逐渐缩小、分析出用户偏好前，模型的开发者并不完全了解用户的喜好，无法也不会对人工智能系统给出任何明确的目标指示。

2、被禁止的人工智能使用行为

2021提案中即提到，人工智能某些用途所产生的风险将被认为是不可接受的，因此，此类人工智能的使用将被禁止。2021提案罗列了4类被禁止的人工智能使用行为。之后的2022欧盟理事会立场、2023欧洲议会立场以及最终的2023《人工智能法案》均对该内容进行了不同程度的讨论与修改。

a. 被禁止的行为（i）：认知行为操纵/ cognitive behavioral manipulation

根据2021提案，如果人工智能系统在人类的意识之外被部署了潜意识技术用于严重扭曲某一人类的行为，导致或可能导致该人类或其他人类受到身体或精神伤害的，则该人工智能系统被禁止投放市场、嵌入服务或投入使用。据官方报道，2023《人工智能法案》同样保留了本条。

b. 被禁止的行为（ii）：利用特定群体弱点/ exploitation of the vulnerabilities of a specific group of persons

2021提案要求，如果人工智能系统将利用特定人群在年龄、身体或心理疾病上的任何弱点，用于严重扭曲某一人类与该特定群体有关的行为，导致或可能导致该人类或其他人类受到身体或精神伤害的，则该人工智能系统被禁止投放市场、嵌入服务或投入使用。

2022欧盟理事会立场中，欧盟理事会认为，如果人工智能系统利用了特定人群在社会地位或经济地位上的弱点，也应属于上述被禁止的行为。

2023欧洲议会立场中，欧洲议会建议在本条中新增一项被禁止的行为：根据敏感或被保护的特征（欧洲议会官方记者会注：例如性别、种族、民族、公民身份、宗教、政治取向）对自然人进行分类的生物识别分类的系统，亦应被加入禁止之列。

根据外国媒体报道，2023《人工智能法案》似乎采纳了欧洲议会的建议。[5]

c. 被禁止的行为（iii）：社会评分/ social scoring

2021提案中，如果人工智能系统系基于个人的社会行为，或已知的或预测的个人特征，对个人在一定期限内的可信度进行评估或分类，且该社会评分将导致如下任一情形的，则该人工智能不得被公共当局或其任何代表投放市场、嵌入服务或投入使用：

（1）在与数据最初生成或收集的背景无关的社会背景下，某些个人或其整个群体受到有害或不利的待遇；或

（2）某些个人或其整个群体受到不公正或与其社会行为的严重性不相称的有害或不利的待遇。

欧盟理事会于2022年进一步表态认为，将人工智能系统用于社会评分的禁止性不应当仅限于“公共当局”，私方行为者/ private actors的类似行为同样应当被禁止。

2023年，欧洲议会的修订文本中删除了“公共当局或其任何代表”的限定用词，与欧盟理事会的提议保持一致。

2023《人工智能法案》记者会上，明确了社会评分人工智能系统应当被禁止的立场。同时，欧盟委员会关于人工智能的问答中表示，2023《人工智能法案》不仅适用于公共行为者，也同样适用于私方行为者。但对于本条条款中，私方行为者（尤其是公司）的人工智能社会评分行为是否同样被监管禁止，仍需要最终官方发布的协议文本进行澄清。

d. 被禁止的行为（iv）：远程生物识别/ remote biometric identification

生物识别是一种使用个体身体或生理特征的唯一性来确认、识别或验证一个人身份的方法。生物识别可能通过一对一匹配验证的方法进行（例如我们常用的手机解锁）；也可以通过远程的、一对多匹配验证的方法（例如，在人群中识别个人，通过将其图像与数据库一对多进行匹配的方式，在不需要接触被验证的个体的情况下，识别其身份。

欧盟委员会在其关于人工智能问答中表示，生物识别系统之所以需要被特殊监管的原因在于，虽然技术上几乎能达到99%的准确率，听起来误差很小，但当系统的识别结果可能导致对无辜人的怀疑时，这是相当危险的。即使是0.1%的错误率，如果涉及到成千上万的人，也是很大的风险。

（1）“实时”远程生物识别系统

原2021提案中，任何为执法目的在公共场所使用的“实时”远程生物识别系统均被禁止使用，除非且仅限于此类使用对于以下任一目标是绝对必要的：

（a）有针对性地搜寻特定的潜在犯罪受害者，包括失踪儿童；

（b）防止对个人的生命或人身安全造成具体、实质性和迫在眉睫的威胁或恐怖袭击；

（c）侦查、定位、识别或起诉刑事犯罪的肇事者或嫌疑人，前提是（i）该刑事犯罪属于欧盟理事会框架决定第2002/584/JHA 62 第2(2)条中的犯罪行为，且（ii）根据成员国法律的规定，可在有关成员国被处以监禁，或最长期限至少为三年的拘留令。

欧盟理事会表达的立场中认为，需要增加一种除外情形：如果此类使用系严格出于执法之目的，则对应的执法机关应当被允许使用该“为执法目的在公共场所使用的‘实时’远程生物识别系统”。

欧洲议会不同意关于“实时”远程生物识别系统的任何例外情形：无论是否为执法之目的、是否应用于重大犯罪，在任何情况下，公共场所的“实时”远程生物识别系统均应被禁止。

根据2023《人工智能法案》官方记者会，对于“实时”远程生物识别系统的谈判结果似乎站在了欧盟理事会一方：在确保实施了安全措施的前提下，相应的执法机关严格出于执法之目的，可能可以将“实时”远程生物识别系统用于（i）某些犯罪的受害者案件，（ii）预防真实的、当前的或可预见的威胁，如恐怖袭击，或（iii）搜查涉嫌最严重犯罪的人。

（2）其他类型的远程生物识别系统

2023年，欧洲议会新增了4种远程生物识别系统的类型，并发表其立场：（i）基于用户画像、地点或过去犯罪行为的预测性警务系统，（ii）无目的性地从互联网或闭路电视录像中抓取生物识别数据，以创建面部识别数据库（侵犯人权和隐私权）的行为，（iii）在执法、边境管理时、工作场所和教育机构内使用的情绪识别系统，以及（iv）非“实时”的“延后”远程生物识别系统，同样应当被禁止。

欧洲议会对于上述远程生物识别系统同意的唯一例外为：如果执法机构系为起诉严重犯罪之目的，且经过司法授权后使用“延后”远程生物识别系统的，可以被允许。

2023《人工智能法案》记者会上仅表示下列将被禁止：（i）某些针对个人的预测性警务系统，（ii）无目的性地从互联网或闭路电视录像中抓取生物识别数据，以及（iii）在工作场所和教育机构内使用的情绪识别系统。具体细节还有待官方文件的澄清。

3、“高风险”人工智能系统

从之前的2021提案来看，无论人工智能系统旨在用作某产品的安全组件，还是作为独立的产品被投放于市场，如果该系统作为安全组件的产品或该系统本身属于（i）特定欧盟立法所涵盖的产品，或者（ii）根据欧盟产品安全法规的规定，需要接受第三方符合性评估/ conformity assessment后方能投放市场或投入使用的，或者（iii）被附件清单明确列为是“高风险”的，则均属于“高风险”人工智能。

根据欧盟委员会于2023年12月发布的关于人工智能的问答，2023《人工智能法案》中：

a. “高风险”人工智能的定义

判断是否分类为“高风险”人工智能，将取决于（i）人工智能系统的执行功能、预期用途和使用方式，（ii）现有的欧盟立法及规定，以及（iii）2023《人工智能法案》附件清单中所列的“高风险”人工智能示例。

欧盟委员会将负责更新示例清单。在该清单上的人工智能系统，如果执行狭窄的程序性任务、改进先前人类活动的结果、不影响人类决策或仅执行准备性任务的，则不被视为高风险。然而，如果该清单上的人工智能系统对自然人进行个性化分析/ profiling，它将始终被视为“高风险”。

示例清单中罗列的例子包括：关键基础设施，如道路交通、供水、供气、供热和电力领域基础设施；分析及过滤工作应聘申请的系统，或对应聘者评分的系统等。另，某些生物识别系统，亦被列入了“高风险”人工智能系统示例清单中（前提是其并未被列为“被禁止的行为”中），将受到更为严格（但并非完全被禁止）的监管要求。

b. “高风险”人工智能系统提供者的义务

（1）符合性评估/ conformity assessment义务：“高风险”人工智能系统的提供者（例如，开发者），在将系统投放于市场或以其他方式投入使用之前，必须对该系统进行符合性评估。人工智能系统的部署者（例如购买该人工智能系统的银行），则必须确保开发者已经履行了符合性评估义务。

符合性评估义务要求人工智能系统提供者证明，他们的系统符合值得信赖的人工智能的强制性要求（例如，数据质量、文档和可追溯性、透明度、人工监督、准确性、网络安全和坚固性）。如果人工智能系统或其使用目的发生实质性变化的，必须重新进行符合性评估。

（2）质量和风险管理体系/ quality and risk management systems实施义务：人工智能系统的提供者将确保，其始终符合新的法律法规要求，并在产品投放市场后最小化用户和受影响人员的风险。

（3）公共当局部署者的注册义务：公共当局或其任何代表部署“高风险”人工智能系统的，必须在欧盟公共数据库中注册，除非该人工智能系统用于执法和移民。然而，后者也必须在数据库的非公共部分进行注册，供（且仅供）相关监管当局访问。

4、其他亮点内容

a. 2023《人工智能法案》的适用范围：2023《人工智能法案》将不会适用于（i）仅出于研究与创新目的而使用人工智能系统的行为，以及（ii）个人出于非专业原因的使用。同时，据路透社称，除非被分类为“高风险”人工智能系统或属于“被禁止的行为”，2023《人工智能法案》将不会监管免费和开源的软件。[6]

但欧盟委员会也在其发布的问答中明确，只要人工智能系统被投放在欧盟市场，或将影响位于欧盟的人民，则无论行为者是公共当局还是个人，无论是人工智能的提供者（例如，开发者），还是部署者（例如购买该人工智能系统的银行），均可能受到2023《人工智能法案》的监管。

b. 通用目的人工智能系统/ general purpose artificial intelligence：以ChatGPT，New Bing，Bard为首的新一代人工智能系统，将可能被用于各种目的，因此属于“通用目的”人工智能系统。该类通用目的人工智能系统技术可能被集成于各类风险等级（包括“高风险”等级）的应用中，也因此，2023《人工智能法案》特别增加了对于此类人工智能系统的说明。此外，欧盟委员会将成立一个人工智能办公室，由独立专家组成的科学小组向该人工智能办公室提供关于通用目的人工智能系统的建议。

c. 惩罚措施：（i）违法开展“被禁止的行为”的，处以3500万欧元或公司全球年营收额7%的罚款（以更高额者为准，下同）；（ii）违反透明度等义务要求的，处以1500万欧元或公司全球年营收额3%的罚款；（iii）提供虚假信息的，处以750万欧元或者公司全球年营收额1.5%的罚款。然而，对于中小企业和初创企业，可能将更加适度地设定罚款的上限。

三、未来展望

从会创作的微软小冰、击败人类职业围棋选手的AlphaGo，再到今年引爆世界关注的ChatGPT，人工智能的发展逐渐颠覆人类对机器的认知，改变人类生活、工作的方方面面。

欧盟作为全球先行者，鼓励人工智能技术创新与发展的同时，通过立法的方式对人工智能可能给人类带来的风险进行规制。无独有偶，中国国务院办公厅于2023年6月初印发的《国务院2023年度立法工作计划的通知》中也表示，中国《人工智能法》的草案也已经预备提请全国人大常委会审议。

纵然前瞻性的立法和表态必然留有较多被批判、被更正的空间，但欧盟《人工智能法案》仍将为其他国家的立法，特别是中国的立法，提供借鉴。对于可能投放在欧盟市场或影响到欧盟民众的人工智能产品，都应当时刻关注该立法，并准备在其生效后遵守。

[注] 

[1] ‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with.

[2] ‘artificial intelligence system’ (AI system) means a system that is designed to operate with elements of autonomy and that, based on machine and/or human-provided data and inputs, infers how to achieve a given set of objectives using machine learning and/or logic- and knowledge based approaches, and produces system-generated outputs such as content (generative AI systems), predictions, recommendations or decisions, influencing the environments with which the AI system interacts.

[3] ‘artificial intelligence system’ (AI system) means a machine-based system that is designed to operate with varying levels of autonomy and that can, for explicit or implicit objectives, generate outputs such as predictions, recommendations, or decisions, that influence physical or virtual environments.

[4] An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment.

[5] https://www.dataguidance.com/news/eu-parliament-and-council-reach-political-agreement-ai

[6] https://www.reuters.com/technology/eus-ai-act-could-exclude-open-source-models-regulation-2023-12-07/

蔡荣伟  律师

上海办公室  高级顾问

业务领域：投资并购和公司治理, 网络安全和数据保护, 诉讼仲裁

特色行业类别：能源与自然资源, 通讯与技术

何静澜  律师

上海办公室  公司业务部

* 王逸扬对本文亦有贡献

特别声明

以上所刊登的文章仅代表作者本人观点，不代表北京市中伦律师事务所或其律师出具的任何形式之法律意见或建议。

如需转载或引用该等文章的任何内容，请私信沟通授权事宜，并于转载时在文章开头处注明来源于公众号“中伦视界”及作者姓名。未经本所书面授权，不得转载或使用该等文章中的任何内容，含图片、影像等视听资料。如您有意就相关议题进一步交流或探讨，欢迎与本所联系。