吴沈括 胡然 | 欧盟委员会《人工智能法》提案研究

作者 | 吴沈括 北京师范大学网络法治国际中心执行主任

中国互联网协会研究中心副主任

北大法律信息网签约作者

胡然 北京师范大学网络法治国际中心研究员 

来源 | 《中国审判》2021年第9期

感谢吴沈括教授对本文的授权

　　2021年4月，为了加强整个欧盟范围内对于人工智能的使用、投资和创新，欧盟委员会通过了《人工智能法》提案（以下简称“提案”）。提案提出一套人工智能领域的法律框架，以期对人工智能的应用进行规范和限制，保护人们日常生活和正当权利不受侵害。提案不仅对人工智能技术，如汽车自动驾驶、银行贷款、社会信用评分等一系列日常生活中的应用进行规范，还对欧盟执法系统和司法系统使用人工智能的情形提出了相应的规制路径。
　　值得注意的是，提案作为欧盟在人工智能领域作出的关键立法，意味着欧盟对人工智能领域的数字治理提出了新要求，反映了人工智能技术的治理与发展应当在《通用数据保护条例》（GDPR）的有效监管下进行，即按照与《通用数据保护条例》（GDPR）一致的方式进行统一部署。
　　提案采用具体法律框架的形式与各成员国实施的协调计划积极结合，以保障公众和企业的隐私安全和基本权利为主要出发点，进一步明确了人工智能在不断更新和发展的同时，应当满足于世界范围内符合社会基本价值观与发展新兴技术两者间的平衡要求，从而使欧洲公众能够增强对人工智能技术所提供的产品和服务的信任。

一、提案的出台背景与制度设计

　　在过去的十年里，人工智能技术经历了快速的发展，其为经济、社会和文化发展、能源可持续性、更好的医疗保健和知识传播提供了丰富的机会。但同时，这些机会也伴随着潜在风险，如失业、不平等、就业歧视、社会排斥、不知情的监督和操纵等。自人工智能技术问世以来，考虑到潜在风险的存在，欧盟委员会在符合欧盟价值观的背景下以提高其技术竞争力为主要目标，持续促进和加强欧盟各成员国在人工智能技术方面的合作。根据欧盟委员会的定义，人工智能技术是指采用官方所列明的一种或多种技术和方法开发的软件，并且能够针对特定人群或具体目标在内容、预测、建议或决定等方面产生一系列影响其交互环境的输出技术。
　　关于人工智能技术在欧盟的发展现状与前景，欧盟委员会数据执行副主席Margrethe Vestager表示：“在人工智能领域，公众信任是必须存在的，而对其进行监管和规制是建立这些信任的最佳方式。只有存在具有里程碑式的监管规则，才能确保人工智能值得信任。欧盟对人工智能技术采取的规则将面向未来的创新与进步，并在欧盟公民的安全和基本权利受到威胁时进行干预。”基于此，提案应运而生。这一举动体现了欧盟在人工智能领域积极引领并制定新的全球规范的意图。
　　提案的总体目标在于为全球范围内人工智能技术的应用与发展制定详细标准，以及为符合道德和法律双重标准的人工智能技术铺平道路，并确保欧盟在此过程中保持技术竞争力，从而有效加强欧洲作为全球卓越人工智能中心的地位，并使得欧洲人工智能技术的发展符合欧盟的总体价值观和规则。
　　提案明确了适用对象，并指出了几类主体范围，分别为将人工智能系统投放市场或投入使用的供应商、欧盟领域内人工智能系统的使用者、位于第三国的人工智能系统的供应商和使用者。

二、人工智能技术的风险分级

　　显然，欧盟已经意识到人工智能技术对欧洲价值观、基本权利及原则的风险影响。提案对人工智能采取了考虑风险但总体审慎的方法，将人工智能技术可能带来的风险划分为以下四个层级。
　　第一，不可接受的风险。此类风险被欧盟认为将会对公民的安全、日常生活和基本权利构成明显威胁，故予以明令禁止。如通过操纵人类行为来规避用户自由意愿的人工智能技术或应用程序，最典型的事例是使用智能语音辅助的玩具来鼓励未成年人从事危险行为。
　　第二，高风险。提案未对人工智能技术高风险的具体含义进行说明，但将人工智能技术可能发生高风险的覆盖领域详细归纳为关键基础设施、公民教育、产品的安全组件、公民就业、公共服务、涉权型执法、出入境问题、司法和民主进程等8类。
　　提案强调了所有远程生物识别系统都应被划入高风险的范围。提案要求，部分成员国已经出台法律对该系统进行限制的，应当与提案所规定的内容保持一致。关于远程生物识别系统的禁止情形，提案还规定了豁免条款，即原则上禁止在公众可进入的空间和场所内使用远程生物识别系统，但出于执法目的的某些例外情况，可经司法或其他独立机构授权予以使用，如在紧急情况下搜寻失踪儿童，防止迫在眉睫的恐怖主义威胁，侦查、定位、识别或起诉严重刑事犯罪的犯罪嫌疑人等。同时，提案要求，即使在前述例外情况下，对于远程生物识别系统的适用时间、地理范围和搜索的数据库等方面依然必须进行适当限制。
　　提案还详细规定了存在高风险的人工智能技术在投放市场之前必须履行7种严格义务。同时，这些义务在人工智能系统投放市场或投入使用前及在整个生命周期内都要接受审查。7种严格义务具体包括：1.完备的风险评估系统；2.向系统提供高质量的数据集，以将风险和歧视性结果降至最低；3.记录活动以确保结果的可追溯性；4.提供有关系统及其目的的所有必要信息，以供当局评估其合规性；5.向用户提供清晰、充分的信息；6.采取适当的人为监督措施，将风险降至最低；7.高水平的安全性和准确性。
　　第三，有限的风险。此类风险指包含特定透明度义务的人工智能系统。因特定透明度义务的存在，故当用户使用人工智能系统时，能够意识到其本身正在与人工智能系统进行交互，即在用户知情的情况下提供用户方决定继续运行或中止的权利。
　　第四，极小的风险。如提案允许免费使用人工智能视频游戏或垃圾邮件过滤器等应用程序等。绝大多数人工智能系统都属于此类风险。因为欧盟认为这些人工智能系统对公民的权利或安全产生的风险极小，甚至无法产生风险，故提案并未对极小的风险进行干预。
　　关于人工智能的治理主体，提案指出人工智能系统的设计和开发应当保证在使用过程中能够受到公民的监督，故其规定由国家主管市场监督机构监督新规则的适用。未来，可以建立欧洲人工智能委员会来促进新规则的实施和推动人工智能标准的制定，并由其承担各种复杂的任务，如协助国家主管市场监督机构来确保提案的一致适用、发布与人工智能技术发展相关的意见和建议、在成员国之间收集和分享最佳实践等。
　　为此，提案还提出了鼓励不属于高风险范围的人工智能技术的提供者制定行为守则，促进自愿采纳适用于高风险人工智能技术的强制性要求，并提出了监管沙盒模式以促进人工智能领域的创新。在人工智能技术规制措施的执行方面，提案规定由各成员国根据不同国情予以严格执行。此外，提案还规定了企业在8种高风险领域范围内使用人工智能技术，若违反规定将处以高达3000万欧元或公司全球年度总营业额2%至6%的行政罚款，最终选择罚金金额更高的处罚方案。
　　目前，提案已经提交给欧洲议会和欧洲理事会进行审议和分析。提案若通过，将会在欧盟官方公报上公布20天后生效，并将在生效后的两年内持续适用。鉴于人工智能技术涉及大量的利益相关者，且争议性较大，故欧盟方认为提案具体落实于公民现实生活的过程仍然道阻且长。

三、提案与《通用数据保护条例》

　　人工智能技术与个人数据长期保持着紧密联系。借助于人工智能技术，个人数据可以用来分析、预测和影响人类行为。在许多情况下，自动化的预测和决策不仅成本更低，而且比人类的预测和决策更精确、更公正。因为人工智能系统可以避免人类心理的典型谬误，并且可以受到严格的控制。
　　《通用数据保护条例》（GDPR）作为欧盟范围内保护个人数据的重要条例，充斥着模糊的条款和开放的标准，而这些条款和标准的应用往往需要平衡相互竞争的利益。在人工智能应用中，技术的新颖性、复杂性及其个人和社会影响的广泛性加剧了不确定性。显然，提案的出台将会在此方面予以明确和规制，从而有效保护个人数据的流通与收集。
　　尽管《通用数据保护条例》（GDPR）没有明确提到人工智能一词，其许多条款与人工智能相关，如《通用数据保护条例》（GDPR）允许开发人工智能和大数据应用程序，成功地平衡数据保护和其他社会经济利益，但它对如何实现这一目标仅提供了有限的指导。此外，提案规定了从事人工智能处理的控制者应当采取负责任和风险导向的方法，同时鉴于问题的复杂性及《通用数据保护条例》（GDPR）中存在的模糊性，不应让控制者单独参与该项工作。
　　笔者相信，随着提案的问世，欧盟各机构仍可能会继续促进对人工智能应用的广泛讨论，并进一步提供高水平的指示。欧盟数据保护当局需要积极参与和所有利益相关者的对话，包括人工智能系统的控制者、处理者和社会公民，以便根据共同的价值观和有效的技术制定适当的应对措施。当《通用数据保护条例》（GDPR）所规定的数据保护原则的一致应用与有效使用人工智能技术的能力相结合时，可以通过提案所指出的预防风险的方式，为人工智能技术在未来的成功应用做出贡献。

四、提案与欧盟《人工智能白皮书》

　　2020年2月19日，欧盟委员会发布了《人工智能白皮书》（以下简称《白皮书》），旨在通过提升欧洲在人工智能领域的创新能力，防范和处理人工智能技术带来的各类风险，从而推动道德和可信赖人工智能的发展。《白皮书》就人工智能技术的重要战略意义作出了高度评价，其指出人工智能技术的发展趋势已不可阻挡，将会迎来新一轮数据浪潮机遇。不可否认，在人工智能技术带来大量好处的同时，也意味着可能会对经济和社会造成不稳定的影响，如劳动力剩余、个人信息失控、在线平台加剧垄断等。而前述问题仅依靠市场力量很难得到及时有效的处理。
　　为了取得人工智能领域的领先地位，欧盟希望通过政策监管与增加资金投入两种措施促进人工智能发展并解决其带来的风险。显而易见，提案作为《白皮书》中政策监管措施的积极践行，体现了欧盟正在采取实际立法行动对人工智能技术的风险予以规制。而在增加资金投入方面，《白皮书》也指出，未来十年，欧盟每年将吸引两百亿欧元的投资。
　　笔者认为，提案的出台，是《白皮书》实施计划中的重要一环，预示着欧盟已经开始针对人工智能领域的规制和监管采取了积极的立法措施，并在《白皮书》的引导和指示下不断增强对潜在风险的预警和处理，积极明确提案的规制对象与规制范围。此外，《白皮书》还曾指出为了应对人工智能的挑战，欧洲需要一个全面涵盖商业和公共管理的战略部署，除了为人工智能的发展创设有利环境外，还必须基于广泛认可的价值观和原则来建立全球监管规范和框架，以保证人工智能的发展以人为本。值得注意的是，提案重申了该内容，即符合社会基本价值观与发展新兴技术两者之间应当取得有效平衡，并进一步规定了诸多措施，从而使人工智能技术的不良影响降至最低。
　　可以预见，未来欧盟将会持续加大对人工智能技术的投资，并会严格按照提案与《白皮书》的要求进行规制和监管，使人工智能技术在符合欧洲基本价值观的前提下进一步加强其技术研究与应用实践。
-END-责任编辑 | 吴珊审核人员 | 张文硕本文声明 | 本文章仅限学习交流使用，如遇侵权，我们会及时删除。本文章不代表北大法律信息网（北大法宝）和北京北大英华科技有限公司的法律意见或对相关法规/案件/事件等的解读。▼往期精彩回顾▼

点击相应图片识别二维码

获取更多信息

北大法宝

北大法律信息网

法宝学堂

法宝智能

点击「在看」，就是鼓励