要点分析 | 欧盟Artificial Intelligence Act 解读（二）

作者：垦丁（广州）律师事务所  王捷 | 邱世贸

W&W国际法律团队

专注互联网出海法律实务：

W&W国际法律团队深耕海外多地区多条业务线，通过多年来积累的出海法律服务经验以及资源优势，结合本土化的合规经验与国际化的思维，致力于为出海互联网企业提供专业的一站式法律解决方案，为逐鹿海外的互联网企业提供优质及多元化的法律服务，为各类新型业务搭建运营合规体系及提供有效的风险评估及合规解决方案。

互联网前沿领域法律服务：

W&W国际法律团队深耕出海法律实务的同时，也紧跟互联网前沿动态，可以为互联网企业提供前沿领域的法律服务，为企业开拓新的业务领域保驾护航，比如AIGC产品全链路合规法律服务，包括AI与数据合规， AIGC与知识产权布局、侵权风险防范，内容审核标准制定等。

覆盖以下行业领域：

物联网、智能家居、智能汽车、车联网、芯片制造、Web3.0、NFT、AI、电子设备及智能终端制造、数字化安全、IOT、云计算与服务、社交网络平台、电子商务、短视频视听直播、网络游戏、人力资源等行业领域。

（此处仅展示部分内容，如有任何需求，请尽管与我们联系。）

引言

W&W国际法律团队针对《人工智能法案》进行要点解读分析，共分为两个系列，上一篇推文对欧盟Artificial Intelligence Act关于人工智能的定义、风险及适用于所有人工智能系统的通用原则进行了分析；本文作为第二个系列，选择欧盟Artificial Intelligence Act关于高风险人工智能系统及其提供者具有特殊性的义务进行解读，供各位读者和出海欧盟的企业关注了解《人工智能法案（折衷稿）》对高风险人工智能系统的监管要求，部署完善相应的合规措施。

 高风险人工智能系统的监管要求

对于“高风险人工智能系统”，考虑到其的潜在风险及影响力，《人工智能法案（折衷稿）》第二编中为“高风险人工智能”提出了一系列要求，包括风险管理系统（第9条）、数据和数据治理（第10条）、制定技术文档（第11条）、记录保存（第12条）、透明性和向用户提供信息（第13条）、人类监管（第14条）、正确性、稳固性和网络安全（第15条）等。

除了以上规定，根据《人工智能法案（折衷稿）》第16条，高风险人工智能系统的提供者还应当：

·投入至市场或投入服务前，确保符合法案的要求；

·披露主体信息（包括名称、注册商号、注册商标，联系地址和联系信息等）；

·选定监管人员、确保人类监管者了解自动化或确认偏差的风险；

·提供输入数据的规格、训练数据集的相关信息，训练数据的局限性和假设，披露系统的预期目的、可（合理）预见的滥用；

·具备质量管理系统；

·制定并保存技术文档；

·保留系统的自动产生的记录，用于确保和证明系统合规；

·确保系统通过相关的合规评估；

·制定欧盟合规性声明；

·在系统上贴上 CE 标志，以表明系统符合法案的监管要求；

·履行注册义务；

·采取必要的纠正措施并提供有关信息；

·依据国家监管机构的充分合理的要求自证合规；

·确保符合辅助功能要求。

考虑到作为高风险人工智能系统的提供者需要承担的义务较多，W&W国际法律团队以下选择部分具有特殊性的义务进行阐述。

1、数据与数据治理

人工智能法案（折衷稿）》的第10条，对高风险人工智能系统所使用的训练、验证和测试数据提出了数据治理的要求。具体而言，数据治理中，高风险人工智能系统的提供者需要关注数据收集过程，数据准确过程（标注、标记、清理、更新、丰富和聚合），可能的偏见审查，检测、预防和减轻可能的偏见的适当措施等内容。

2、记录保存

根据《人工智能法案（折衷稿）》的第12条，高风险人工智能系统应当配有自动化的事件记录的能力。根据第12（4）条的规定，具体而言，需要记录：

（1）系统每次使用的期间（每次使用的开始日期、时间和结束日期、时间）；

（2）系统检查输入数据所依据的参考数据库；

（3）搜索匹配的输入数据；

（4）参与核查结果的自然人的身份。

另外，为了确保在系统的整个生命周期的一定承担的可追溯性，记录能力应当可以实现第29（4）条的操作监测和第61条的上市后监测。

同时，高风险人工智能系统应当设有能源消耗、资源使用和环境影响的测量或计算的记录能力。

3、人类监管

《人工智能法案（初稿）》的第14条，提出了“人类监管”的措施，第14条在《人工智能法案（折衷稿）》中被完整保留。根据第14条的规定，高风险人工智能系统应当设有合适的人机交互界面工具，该工具可以由自然人进行有效监管。人类监管，在于防止和最小化高风险人工智能系统可能产生的对健康、安全和基本权利的风险。

通过人类监管措施，人类监管者应该能够：

·监督高风险人工智能系统的运行，及时发现系统的异常、功能障碍；

·防止自动化偏见的产生（尤其是提供内容或决策建议的高风险人工智能系统）；

·根据系统的特征和可用的解释工具和方式，解释系统的输出；

·在任何特定情况下，能够决定禁用高风险人工智能系统或以其他方式忽视、覆盖或逆转高风险人工智能系统的输出；

·能够干预高风险人工智能系统的运行，或通过“停止”按钮或类似程序中断系统。

《人工智能法案》通过为高智能人工系统引入“人类监管”的措施，某种程度是意识到当前的人工智能的潜在影响仍然具有不确定性（轻则只是输出虚假内容，重则可能危害使用者的健康、安全、基本权利）、需要在必要的情况下由人类踩下“急刹车”。

4、透明度和向用户提供信息

《人工智能法案（初稿）》第13条“透明度和向用户提供信息”要求，高风险人工智能的应附有使用说明，其中包括与用户有关、用户可访问、用户可理解的信息，且信息应该是简洁、完整、正确、清晰的。

具体而言，高风险人工智能的提供者，需要提供其身份和联系信息，及授权代表人的身份和联系信息（若适用）；系统的特征、能力和性能的限制；系统的变化、在初次符合性评估时预先确定的性能；系统采取的人类监管措施；系统预期的声明周期和采取的确保系统适当运行的必要维护措施。

概括来讲，高风险人工智能的提供者，需要向用户告知系统的局限性（系统能做什么、不能做什么）、提供者的联系信息、为确保系统运行、不损害用户的健康、安全和基本权利所采取的必要措施（包括人类监管和维护措施）。我们注意到第13条规定的透明度义务，与欧盟《通用数据保护条例》中规定的透明度义务在核心上大致相同，均包括联系信息、安全措施、潜在影响等内容。

5、制作和保存技术文档

根据《人工智能法案（折衷稿）》第11条的规定，在投入市场或投入服务之前，应当制定高风险人工系统的技术文档且保持更新。技术文档可以证明该系统符合《人工智能法案》的监管要求，并且提供给国家监管机构和符合性评估机构必要的信息、用于评估系统是否合规。

技术文档应当至少附录四中列出的要素，但对于中小企业和初创企业而言，其可以起草满足相同目标的任何等效文件、但需国家监管机构批准。

附录四中罗列了一系列技术文档应该包括的内容，总体而言，包括：

·人工智能系统的总体简介；

·人工智能系统的要素和其开发过程的具体描述；

·人工智能系统的监测、运行和控制的详细信息；

·特定人工智能系统的的性能指标的适用性的描述；

·有关人工智能系统在开发阶段的能源消耗和使用期间的预期能源消耗的信息；

·风险管理系统的详细说明；

·提供商在系统的整个生命周期中对系统所做的任何相关修改的描述；

·欧盟符合性声明的副本；

·在上市后评估人工智能性能的系统的详细描述，包括上市后的监测计划。

根据W&W国际法律团队的理解，技术文档的主要作用，在于证明高风险人工智能的提供者采取的措施符合欧盟法律。值得注意的是，《人工智能法案（折衷稿）》相比《人工智能法案（初稿）》，增加了对于能源消耗、资源使用的记录。目前来说，较为先进的人工智能系统，均属于GPU密集型的服务。根据今年3月份的新闻，OpenAI表示为了进一步提供GPT-4服务，需要再购入3万块显卡；同时，在GPT-3.5和GPT-4的训练过程中，亦消耗了大量的电力。《人工智能法案（折衷稿）》将“能源消耗”这一问题引入技术文档中，具有鲜明的特色。

6、不同角色的不同义务

《人工智能法案》针对高风险人工智能系统的链条中的不同角色（包括提供者、进口者、分发者、部署者）设置了不同的义务。

（1）提供者

对于高风险人工智能系统的提供者（“provider”）的义务，我们已在前文就部分合规重点进行阐述，故在此不再赘述。

但我们注意到，对于基础模型的提供者，《人工智能法案（折衷稿）》新增第28b条，专门规定基础模型的提供者的义务。该义务并不区分基础模型单独使用或者被嵌入系统或产品中，亦不区分是否以免费、开源许可证发布的基础模型。

具体而言，基础模型的提供者应当确保：

·通过设计、测试和分析，证明开发前与开发过程中，以通过适当的方法（如独立专家的参与、）识别、减少和减轻对健康、安全、基本权利、环境和民主以及法治的合理可预见的风险；

·仅处理和合并符合数据治理措施的数据集，特别是检查数据源和可能的偏见及适当的缓解风险的措施；

·通过适当方法（如独立专家参与的模型评估、记录分析和广泛测试）确保基础模型整个生命周期中实现适当水平的性能、可预测性、可解释性、可纠正性、安全性和网络安全；

·利用适用标准减少能源使用、资源使用和浪费，并提高能源效率和系统的整体效率，同时具备能源消耗的记录能力等；

·起草广泛的技术文档和易于理解的使用说明，以使下游的高风险人工智能系统提供者能够遵守其义务；

·建立质量管理系统并确保合规；

·在欧盟数据库进行模型注册。

另外，对于生成式人工智能基础模型的提供者，还需要履行透明度义务、在设计和训练过程中确保生成的内容不会违反欧盟法律并不会影响基本权利（如自由表达的权利）。

在实践中，并非每个公司都有资源和能力开发基础模型，但同时基础模型在特殊行业或场景（比如医疗、法律、金融）的表现可能较差。部分公司可能选择在基础模型的基础上进行微调（fine-tune），以提供模型在特殊行业或场景下的性能，并将微调后的模型投入市场或投入服务，此时这些公司可能成为高风险人工智能系统的提供者，需要履行《人工智能法案》第16条的义务，其中包括起草技术文档、使用说明等。第28b条规定的基础模型提供者为下游提供者提供技术文档、使用说明等，将很大程度上减轻下游提供者（即微调模型并将微调后的模型投入市场者）在提供技术文档、使用说明方面的难处。

（2）进口者

对于高风险人工智能系统的“进口者”（“importer”），《人工智能法案》对其的定义为“任何设立于欧盟的自然人或法人，该主体将在欧盟以外设立的自然人或法人的名称或商标的人工智能系统投放市场或投入使用”。

对于进口者，根据《人工智能法案（折衷稿）》第26条的规定，在将该系统投放市场前，应当确保该系统符合《人工智能法案》的规定。具体而言，进口者需要确保系统的提供者已经完成符合性评估并起草技术文档，且系统中包括所需的合格标志且提供所需的文档和使用指导；确保模型的提供者已根据第25（1）条设定代表等。根据目前《人工智能法案（折衷稿）》对于高风险人工智能的进口者的义务设定，进口者承担了较重的需要确保模型的提供者符合法案要求的义务。

（3）分发者

对于高风险人工智能系统的分发者（“distributors”），《人工智能法案》则将其定义为“在供应链中除提供者或进口者的任何自然人或法人，该主体使得人工智能系统在不影响其属性的情况下可于欧盟市场内使用”。法案的第27条确定了分发者应该验证系统的提供者或进口者遵守法案为其设定的义务，但在具体义务上，分发者承担的义务与进口者的义务并未太大的差别。

（4）角色的转换

《人工智能法案（折衷稿）》相比《人工智能法案（初稿）》，对第28条进行了大幅度调整，确定了提供者、分发者、进口者、部署者或其他第三方均属于AI价值链（AI value chain）中的一员。

具体而言，《人工智能法案（折衷稿）》第28条规定，如果分发者、进口者、部署者或第三方，实施以下的行为，则会被认定为高风险人工智能系统的提供者并应该履行法案第16条规定的提供者应当承担的义务：

·将自身的名称、商标置于已经投入至市场或服务的高风险人工智能系统；

·对已经投入至市场或服务的高风险人工智能系统作出实质性改变，且改变后的系统仍然构成高风险人工智能系统；

·对不构成高风险人工智能系统的系统作出实质性改变，改变后的系统构成高风险人工智能系统。

另外，根据第28（2）条的规定，一旦分发者、进口者、部署者或第三方因实施第28（1）条的行为而成为某个高风险人工智能系统的提供者，则原先的提供者将不再被认定为该特定系统的提供者，但其需要向新的系统提供者，提供包括技术文档、人工智能系统的其他相关及合理预期的信息能力及其他帮助，帮助新的系统提供者履行其义务。

（5）部署者

《人工智能法案（折衷稿）》相比《人工智能法案（初稿）》，在第29条也作出了大幅修改。折衷稿中将第29条的标题从原先的“高风险人工智能系统的用户的义务”修改为“高风险人工智能系统的部署者的义务”。该条第1款要求部署者采取合理的技术和组织措施以确保被部署的系统符合系统的使用说明；第2款则规定，部署者在对高风险人工智能系统的实施控制的范围内，应当实施“人类监管”；确保“人类监管”的工作人员具有一定的能力、资质，并且有必要的自愿以确保系统的有效监管；确保定期监测相关和适当的稳健性和网络安全措施的有效性，并定期调整或更新。同时，第29条第4到5条，要求部署者监控系统运行和特定情况下的通知相关主体（提供者、分发者、相关国家监管机构）、保存自动生成的记录。

（6）评价

根据W&W国际法律团队的理解，尽管法案试图区分提供者、进口者以及分发者，而实际上这几个概念较为混同，在实践中界定一个主体具体为人工智能系统的提供者、进口者或分发者可能较为困难。我们认为，《人工智能法案》所指的高风险人工智能系统的提供者较接近于现实中训练人工智能模型的法人或个人、其在训练完模型之后直接面向用户提供基于其模型的服务；但其他的角色（进口者、分发者、部署者）的概念界定仍然具有一定的模糊性。另外，不同角色的义务，在很大程度上存在重叠。

7、监管沙盒

尽管《人工智能法案》为人工智能系统提供商提出了一系列义务的要求，但仍然为人工智能系统的开发提供了一定的制度支持。在《人工智能法案（折衷稿）》中，增加了“监管沙盒”的规定。根据《人工智能法案（折衷稿）》第3（44h）条的规定，“监管沙盒”是指由公共机关设立的可控环境，在人工智能系统投入市场或投入服务之前的有限时间里，该环境可促进创新人工智能系统的安全开发、测试、验证。“监管沙盒”的概念，最初由英国金融监管局于2015年11月率先提出，旨在提供一个安全的空间使得金融科技企业能够测试其产品、并且在监管沙盒中不会受到监管规则的约束。

《人工智能法案》为“监管沙盒”设定了较低的准入门槛，对于符合资质和标准的人工智能系统的提供者，便可以进入监管沙盒；法案也表示将确保准入标准透明化和公平化，在申请者提交申请后的3个月内便会通知申请者是否可进入监管沙盒。同时，对于中小型企业和初创公司，监管沙盒无需他们支付除特殊成本之外的费用。

推荐阅读：

主编介绍

王 捷 律师

垦丁广州联合创始人、执行主任、垦丁国际业务部负责人、

W&W国际法律团队创始人

业务领域：

个人信息保护与全球数据合规、数据合规、互联网与网络法实务合规、企业出海合规、网络安全

王律师持有CIPP/E（国际信息隐私专家认证/欧盟）、区块链应用操作员资格证书、数据安全师、数据合规官资格证书，是联合国世界丝绸之路委员会专家，中国国际贸易促进委员会深圳调解中心专家调解员，广东省法学会信息通讯法学研究会理事，荷兰RuG国际经济法与商法硕士。

王律师曾在阿里巴巴大文娱集团、国际律所与海外仲裁委员会工作积累了12年+科技型公司实务经验，具备中外律所从业背景。专业能力模块包括产品风险管控、业务流程搭建、竞对攻防布局、政府监管合规、海外公司治理等。王律师已为多家头部与一线的知名互联网公司、大中型外资企业及大型国企提供专业法律服务，行业覆盖物联网、智能终端制造、IOT、云计算与服务、社交网络平台、电子商务及平台、智能汽车与车机系统、芯片制造业、网络游戏、Web 3.0、NFT、AI、以及GPT等新兴领域。

王律师擅长解决由互联网、数据及智能技术引发的数据安全风险与合规解决方案落地，包括数据保护与合规、产品风险管控、业务流程搭建、风险分析评估、政府监管合规、竞对攻防布局，已为各类涉互联网企业拓展全球市场提供法律支持，尤其擅长为企业出海欧美、东南亚、印度、日韩、中东、中国港澳台地区等新兴及重要市场提供有效的合规解决方案与落地支持。

同时，王律师独著《Comparison of Various Compliance Points of Data Protection Laws in Ten Countries/Regions》，在全球最高分的六篇论文中，荣获国际知名隐私组织FPF第 12 届政策制定者年度隐私论文奖，该文章同时被评为年度隐私政策制定者“必读”文章。其耕笔的多篇互联网与数据合规文章收录于国际知名专业数据库。

联系方式：[e-mail]

[phone] 

资讯编写

陈凯婷

垦丁律师事务所W&W国际法律团队实习生