欧盟《AI法案》简析

作者：

丁恒 胡运思

2021年4月21日，欧盟委员会发布了欧洲议事和理事会《关于制定人工智能统一规则》（“《AI法案》”）的提案，该提案反映了欧盟建立获取和使用工业数据的监管框架的需求和意识，也反映了欧盟在AI应用可能给经济和社会带来的风险和利益中寻求平衡的探索[1]。根据欧盟委员会的构想，该法案设定的AI监管框架有四个具体的目标：一是立足于目前欧盟基本权利法律和价值认同，在技术安全的前提下， 保障AI系统在欧盟市场内的布局；二是确保相关法律的确定性，以促进AI产业投资与创新；三是增强对AI系统的治理，并将目前欧盟基本权利法律和对于安全性要求的强制力应用到AI系统上；四是促使欧盟内部形成合法、安全又可信赖的AI应用单一市场，防止内部市场割裂[2]。

在主体适用范围上，考虑到AI技术的快速发展和相关市场的迅速扩张，欧盟立法机关对于“AI系统”进行了较为广泛的定义，在尽可能遵循“技术中立”[3]和“面向未来”[4]原则的基础上，通过列举的方式，对AI开发的路径和技术进行了明确。与此同时，AI价值链的关键参与者，无论是公共主体还是私人操作者，都平等地根据各自的参与方式，被定义为（技术）提供者、（技术）使用者、授权代表等，保证了AI市场的公平竞争环境[5]。在地域适用范围上，《AI法案》适用于欧盟境内或第三国向欧盟市场提供AI系统服务的提供者、欧盟境内AI系统的使用者、以及输出内容在欧盟境内被使用的第三国AI系统的提供者和使用者[6]。

与欧盟《通用数据保护条例》（“GDPR”）保持一致，《AI法案》也提出了“以风险为路径”[7]的构想。正如GDPR将个人数据按照敏感程度分为普通个人数据和特殊分类数据（又称“敏感数据”）施以不同程度的保护义务并进行不同强度的监管，《AI法案》根据AI系统可能对人的基本权利产生威胁的等级将其划分为三类：(1)不可接受的风险；(2)高风险；(3)低风险&最小风险。这一想法也在2021年6月21日欧洲数据保护委员会（EDPB）和欧洲数据保护专员公署（EDPS）针对该法案发表的联合意见中获得了肯定。以下是对于此种划分下，不同类别系统相关规定的介绍：

（1）

不可接受的风险

指AI系统对于人的安全、生命和基本权利有明显的威胁。具有不可接受的风险的AI系统或应用程序应当被禁止。这种情形包括AI系统或应用程序对人行为的操控，以及对人自由意志的规避，具体包括以下几个方面：

• 通过超出人感知范围的潜意识技术扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；

• 通过暴露特定人群的年龄、身体或心理残疾等弱点，从而扭曲人的行为，导致或很可能导致被操控人或其他人心理或身体的损害；

• 在一段特定时间，公共权力机构或代表公共权力机构使用AI系统通过人的社会行为，获知或预判他们的人格特质。就人的信用，对自然人进行评估或分类从而进行评分；

• 执法部门在公共访问区域进行实时远程生物识别。

在6月21日EDPB和EDPS的联合意见中，考虑到在公共场所对个人进行远程生物识别所带来的极高风险，EDPB和EDPS呼吁全面禁止在公共访问区域使用人工智能自动识别个人特征，例如，在任何情况下识别人脸、步态、指纹、DNA、声音、击键和其他生物识别或行为信号。同样，联合意见建议禁止人工智能系统违反《基本权利宪章》第21条使用生物识别将个人依据种族、性别、政治取向或性取向及其他可能造成歧视的因素分为不同的群组。此外，EDPB和EDPS认为，使用人工智能来推断个人的情绪是非常不可取的，并应被禁止，除非是非常特殊的情况，例如基于某些健康目的，对病人情绪进行识别。并且，使用人工智能进行任何类型的社会评分应当被禁止。

（2）

高风险

主要指AI系统被用于产品安全性组件（比如机器、无线电设备、机动车等）并且该组件需要进行第三方遵从测试的情形。除此之外，《AI法案》还以列举的方式，列出了以下可能影响基本权利，进而被视为高风险的所谓“独立AI系统”：

• 对自然人进行“实时”和“事后”远程生物识别;

• 关键基础设施的管理和运作安全;

• 教育和职业培训(进入机构或学生评估);

• 招聘或者其他人力资源决策;

• 评价个人的信誉;

• 评估一个人获得公共援助福利和服务的资格;

• 以可能干扰基本权利的方式执法;

• 处理和审查庇护和签证申请以及边境管制;

• 协助法官研究和解释事实和法律，并将法律适用于事实[8]。

高风险AI系统面临着法案设置的诸多强制性要求。只有当这些合规性要求被满足并预先经过有关部门评估合格，这类AI系统才能够真正进入市场并投入使用。这些强制性要求包括：

• 建立充分的风险管理系统；

• 使用高质量训练、验证和测试的数据集；

• 准备反映AI系统的所有必要信息和目的的技术性文件以评估系统的合规性；

• 开发日志记录能力，以便自动记录，确保系统运作的可追踪性;

• 应向用户提供关于AI系统操作的适当透明度和清楚的信息；

• 确保人类对于AI系统在使用时的有效监管；

• 达到高水平的准确度、稳健性和网络安全性[9]。

经提供者评估后被视为符合高风险性AI系统强制性规定范围内的AI系统，应附有“CE”合规标志。对于“独立AI系统”，授权代表还须在欧盟建立的专用数据库中予以注册[10]。除了提供者承担的上述义务外，《AI法案》亦规定，高风险AI系统的进口商、分销商和使用者有责任确保这些产品在投放市场前符合监管要求，并确保产品的安全使用。

（3）

非高风险

对于所谓的“非高风险”AI系统，即低风险和最小风险的AI系统，《AI法案》遵循比例性原则，通过为此类AI系统设定对用户及相关人群的透明度义务进行较为有限的规制，这种AI系统包括聊天机器人或deep fake换脸等。这类AI系统当与人类互动时，仅需提供信息，使人类意识到自己是在与机器而非自然人对话，并无需承担额外的法律义务。

违反《AI法案》的惩罚力度甚至可能高于被称为“史上最严格数据保护立法”的GDPR。对于违反禁止性要求以及AI系统训练、验证和测试数据集质量要求的情形，企业可能面临着高达3000万欧元或全球年营业额6%的处罚；对于其他违反《AI法案》设置的要求和义务的情形，企业可能面临着2000万欧元或全球年营业额4%的处罚；在负有信息提供义务的情形下，对于提供错误、残缺或误导性信息给相对方或国家主管机关的企业，罚金为1000万欧元或2%的全球年营业额。

我们认为，与GDPR相同，这部欧盟《AI法案》的提案以保护人的基本权利为出发点，以AI系统对公民基本权利的威胁程度对系统进行划分，对不同等级的AI系统提出了不同的合规要求，并施以不同强度的监管。若将来顺利出台，势必会成为欧盟人权法律体系的又一重要法案。我们可以看到，《AI法案》的关注重点与GDPR高度相似，例如人的年龄、种族、身体状况等可能造成人在社会中遭受歧视的因素，都被视作划分AI系统风险的依据。但从另一方面来看，《AI法案》对于某些AI系统和技术的监管可能相对严格，比如完全禁止某些AI技术的使用，有可能在全球各国紧锣密鼓进行AI战略部署、大力支持AI产业布局的大背景下，一定程度上阻滞欧洲AI技术的落地和AI产业的发展，从而对欧盟经济社会的发展产生一定的负面影响。但《AI法案》以“安全”和“非歧视”为原则，对AI进行风险分级的立法手法，也许会给世界其他各国AI立法提供启发。《AI法案》目前尚仍处于欧盟委员会的提案阶段，但EDPB和EDPS在6月21日的联合意见中已对该法案表现出了较为肯定的态度。尽管如此，根据欧盟立法程序，《AI法案》还需经过欧洲议会和欧盟理事会审议并修改，到最后颁布生效还需要两至三年的时间。这部法案未来走向如何，我们也将持续跟进。

[注] 

[1] Regulating Artificial Intelligence: European Commission Launches Proposals, Jones Day, https://www.jonesday.com/en/insights/2021/04/regulating-artificial-intelligence-european-commission-launches-proposals, last visited 22-06-2021.

[2] Proposal for a Regulation of the European Parliament and of the Council laying down harmonized rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative Acts, European Commission, p3.

[3] Ibid, “technology neutral”, p12. 所谓技术中立原则，主要指法律应对科学技术一视同仁，不应把对某一特定技术的理解作为作为法律规定的基础，从而歧视其他形式的技术。既不能要求或采用某种特定的技术，也不能通过立法限制技术的发展。

[4] Ibid, “future proof”, p12. 所谓面向未来原则，主要指立法应尽可能避免因未来技术的更新迭代而产生矛盾。

[5] Ibid, p12.

[6] Ibid, Article 2, p38.

[7] Ibid, p3.

[8] European Commission proposes a risk-based approach to regulate use of AI, SCL, https://www.scl.org/news/12247-european-commission-proposes-a-risk-based-approach-to-regulate-use-of-ai, last visited 22-06-2021.

[9] Ibid.

[10] Ibid, Article 51 and Article 60.

The End

 作者简介

丁恒  律师

上海办公室  合伙人

业务领域：跨境投资并购, 反垄断和竞争法, 网络安全和数据保护

特色行业类别：能源与自然资源

胡运思 

上海办公室  公司业务部

作者往期文章推荐

特别声明：

以上所刊登的文章仅代表作者本人观点，不代表北京市中伦律师事务所或其律师出具的任何形式之法律意见或建议。

如需转载或引用该等文章的任何内容，请私信沟通授权事宜，并于转载时在文章开头处注明来源于公众号“中伦视界”及作者姓名。未经本所书面授权，不得转载或使用该等文章中的任何内容，含图片、影像等视听资料。如您有意就相关议题进一步交流或探讨，欢迎与本所联系。

点击“阅读原文”，可查阅该专业文章官网版。