2020年“AI”应有大爱
引言
1956年的暑期，计算机学家John McCarthy首次提出Artificial Intelligence（人工智能，简称“AI”）的概念。此后，AI又根据发展程度被进一步划分为：弱人工智能ANI[1]、强人工智能AGI[2]和超级人工智能ASI[3]三个阶段。60多年后的今天，ANI已经在不知不觉中成为我们生活的一部分，从汽车自动驾驶、手机语音助手、邮箱垃圾邮件识别过滤、购物网站个性化推荐、输入法和翻译软件的智能语音识别、再到AI医疗辅助识别…… “我们已经生活在一个被弱人工智能包围的世界”[4]。
AI的发展有助于一个“智能的、精细化的和人性化的‘最好时代’”[5]的诞生，这也是我们无限憧憬着的更好的未来。但如同每项新技术一样，AI必需直面技术所带来的道德伦理风险质疑，特别是考虑到AI对于传统工具甚至人工劳动力的替代，其道德伦理风险一直以来都是争议的焦点。一方面，“社会必须信任人工智能技术能够给人带来的利益大于伤害，才有可能支持继续发展人工智能”[6]，因此如果无法对上述伦理风险作出回应，AI技术的发展和应用将会面临巨大挑战。另一方面，对伦理规范的研究“对于人工智能社会关系的调整……具有……先导性的作用”，能够先于法律为AI技术的发展提供规范和道德标准，并“为后续法制建设提供重要法源”，甚至“在一定时候，……转化为法律规范” [7]。
据此，本文将根据各国在AI伦理风险管理层面的指南及准则内容，从算法、数据和社会治理三方面对AI伦理风险的评估指标进行简要总结和例举分析，并就AI伦理风险和负责任的AI实践等问题进行探讨和分享。
各国AI伦理风险研究现状
尽管2019年3月初，联合国教科文组织总干事阿祖莱在“推动人性化人工智能全球会议”上表示，“目前还没有适用于所有人工智能开发和应用的国际伦理规范框架”[8]。但不可否认的是，在过去几年中，AI的伦理风险已经成为世界多国在该领域的重点关注问题。
2019年1月，新加坡个人数据保护委员会（PDPC）发布了《人工智能治理建议框架（征求意见稿）》，旨在帮助企业解决其使用人工智能可能面临的伦理道德及运行管理问题。[9]2019年4月8日，欧盟发布了《可信赖人工智能伦理准则》，指明人工智能的发展方向应为“可信赖人工智能”（“Trustworthy AI”）,并提出了七项要求：保障人类能动性及监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉和问责机制；[10]同时欧洲议会研究机构（EPRS）还发布了《算法责任与透明度治理框架》[11]，提出“将算法透明和责任治理作为解决算法公平问题的工具”[12]。2019年4月，澳大利亚英联邦科学与工业研究组织CSRIO的DATA 61起草了《人工智能伦理框架）讨论稿）》，明确了人工智能的八大核心原则：产生福利、不侵害、合法合规、保护隐私、透明度和可解释性、可争议及问责制原则。[13]2019年11月，美国人工智能国家安全委员会发布中期报告[14]，指出就国家安全层面而言，AI道德及可信赖性主要包括三部分：1）可信赖AI系统的设计和开发的伦理性；2）可信赖AI系统使用的伦理性；和3）使用AI时保留的权利与自由问题。
在中国，AI伦理风险同样是不可忽视的问题。自国务院2017年7月发布《新一代人工智能发展规划》，将人工智能的发展上升为国家战略；2019年4月，国家人工智能标准化总体组发布《人工智能伦理风险分析报告》，将AI的伦理风险划分为算法相关的伦理风险、数据相关的伦理风险、应用相关的伦理风险以及长期和间接的伦理风险，并从算法、数据和社会影响三个方面阐述了人工智能伦理风险评估指标。2019年5月，北京智源人工智能研究院发布《人工智能北京共识》，从研发、使用和治理三个方面提出了人工智能发展应当遵循的多项原则，包括（1）研究与开发中的“造福、服务于人、负责、控制风险、合乎伦理、多样与包容、开放共享”；（2）使用时的“善用与慎用、知情与同意、教育与培训”以及（3）治理中的“优化就业、和谐与合作、适应与适度、细化与落实、长远规划”原则。
AI伦理风险的基本评估要素
识别可能存在的风险并构建伦理风险评估框架，是控制AI伦理风险的重要途径。结合前述各国对AI伦理风险的研究及已经构建的可信赖AI标准，我们总结AI伦理风险的评估要素如下：
以下将从算法、数据以及社会治理三方面以相关的AI伦理风险评估要素为例，探讨如何将评估要素细化，以期认知、控制和降低人工智能伦理风险，并为企业AI实践提供参考建议。
（一） 与算法相关的AI伦理风险
作为人工智能的核心，“算法伦理”在“人工智能所涉及的伦理问题中……居于基础地位”[15]。与算法相关的AI伦理风险可能包括透明度、准确性、可解释性等多项内容。
以算法透明度为例，黑箱问题无疑是人类对AI技术的关注重点之一，如果无法了解或解释AI决策的过程，人类是否或能在多大程度上接收AI的决策结果？答案并不乐观。MIT科技评论曾警示“没有人真正知道现今的机器学习算法是如何决策的，而这恐将成为一大隐忧” [16]。同样是由于透明度问题，AI Now Institute[17]曾呼吁应停止在刑事司法、医疗健康、社会福利和教育等核心公共领域（“高风险领域”）使用“黑箱”AI和算法[18]。因此，保障透明度对控制和降低AI伦理风险至关重要。
尽管如此，透明度的概念和含义仍然需要进一步澄清。EPRS在《算法责任与透明度治理框架》[19]中指出，算法的透明度并非是“一刀切”的概念，相反，根据算法决策系统的类型和用途，算法透明度可能包含以下一项或多项内容：代码、逻辑、模型、目标（如优化目标）、决策变量或其他与算法执行有关的要素；同时，算法透明度既可能是整体透明度[20]也可能是局部透明度[21]。而就AI透明度而言，欧盟在《可信赖人工智能伦理准则》中，还进一步强调了AI实践时不应使用户将AI系统混淆为人类；且用户应当有权利拒绝与AI系统交互；同时AI系统的终端用户应当能够通过适当方式了解该系统的能力及其局限性[22]……
总体而言，我们建议，至少可以考虑根据以下内容来评估AI的透明度风险。
（二） 与数据相关的AI伦理风险
考虑到数据对于机器学习的重要性，与数据相关的AI伦理风险同样不容忽视。数据伦理风险的评估应参考数据质量、隐私保护、人员管控等多个方面进行综合评价。
以数据质量为例，数据作为AI学习的基本要素，其质量优劣将直接决定AI学习后的成果。数据质量优劣的评判可基于两种维度，数据样本的数量与数据自身质量[23]。具体言之，当数据数量不足，用于训练系统的数据不能准确地表现系统将运行的环境时，就会产生数据样本偏差，最终的结果往往导致AI系统的执行或者结论以偏概全。比如将AI引入股票投资领域时，若所学数据只包括每天公司变动的情况以及公司股价变化情况，而没有考虑到国家政策时事的变化等全方位因素，则会导致AI的预测结果产生偏差。当数据本身质量不佳，如包含了虚假数据、失效数据或由于刻板印象产生的偏见数据时，会导致系统在学习的过程中不断吸收错误或偏见的知识与观念，也会导致最后的错误与偏见，如亚马逊的人工智能招聘系统曾被爆出涉嫌性别歧视[24]，报道中认为因为人工智能招聘系统学习的数据是过去十年应聘者的简历与最后的录取结果等信息，而过去十年的招聘中男性录取概率更高，系统便记住了这一特征，形成性别偏见，降低了对女性应聘者的录取率。
基于通常对于数据质量的理解，结合AI系统中机器学习对于数据的依赖程度，就数据质量的具体评估，可能需要回答以下问题：
（三） 与社会治理相关的AI伦理风险
人工智能高速发展的同时，也会破坏人类旧有的生活秩序，对社会治理带来更大的挑战。霍金曾表示过对人工智能的担忧：“人工智能的成功有可能是人类文明史上最大的事件。但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。”因此与社会治理相关的AI伦理风险应受到格外关注，在AI开发的过程中应当重点关注其向善性、公正性与人类主体性。
以人类主体性为例，随着AI技术日趋发达，它将在社会的多个领域占据一席之地，在给人们生活带来便利的同时，也可能会在一定程度上弱化人类主体的能力，包括但不限于创造力、记忆力、判断力。此时如何处理好人与人工智能间的关系变得格外关键。数十年前，阿西莫夫就曾提出著名的“机器人三定律+零定律”[25]警示人类，在如今这个技术更为纯熟的年代，为避免科幻作品中人类沦为机器附庸情景的发生，人类更应保持警惕并明确人类作为AI生产者的主体地位。无论技术多么高效准确，仍不能放弃自主学习和对决策权的控制能力，避免过于依赖与信任人工智能。
对于人类主体性的保障，可能需要考虑以下问题：
企业AI实践建议
AI技术的飞速发展在为生活带来便捷的同时，也对伦理道德以及传统的社会治理体系造成了挑战，对于从事研发、应用AI的企业而言，负责任的AI实践既是规避技术和法律风险的必然要求，也是企业社会责任感的重要体现。面对AI实践，我们建议企业考虑：
（一） 建立AI伦理道德委员会
2019年7月24日，中央全面深化改革委员会（“中央深改委”）审议通过了《国家科技伦理委员会组建方案》。与国家科技伦理委员会的组建相呼应，基于AI伦理风险的专业性与复杂性，我们建议从事人工智能的相关企业可以结合业务实际情况，考虑建立内部AI伦理道德委员会，以强调AI伦理风险的重要性，强化企业开发人员的风险意识与社会责任，为企业AI伦理风险合规提供保障，应对人工智能高速发展带来的挑战。具体而言，伦理道德委员会由具有不同专业背景的开发人员、法务人员、合规人员以及其他行政人员组成。委员会主要职能包括但不限于：建立企业人工智能伦理道德准则及指引、对企业开发过程中面对的伦理道德风险问题做出决策、开展算法审计及质量审查、组织协调企业内部各部门的伦理风险应对工作。[26]
（二） 增强算法透明性
为保障用户对算法的知情权，同时也考虑到未来可能建立的人工智能相关法规，我们建议企业在不侵害公司商业秘密的前提下，向用户适度公开AI系统及算法的细节。具体而言，透明度要求向用户披露AI的使用情况、AI系统的目的、特点、缺陷、服务对象及可能对用户的影响，同时，也要求向用户解释AI系统产生的结果并对AI系统进行周期性地外部审核。[27]
（三） 建立数据溯源机制
为符合《网络安全法》、《个人信息安全规范》等相关法律法规对于个人信息保护以及个人信息主体权利的要求，我们建议企业建立数据溯源机制。具体而言，溯源机制要求算法能够捕获所有输入数据，适当存储与监督、维护目的有关的数据，并建立机制记录算法或模型编程、应用或测试场景以及算法结果。[29]
（四） 合规与技术结合的数据融合和数据共享
数据，是人工智能技术开发和应用的重要基础。挖掘数据的价值需要促进数据在企业内部的融合以及外部的共享。但数据的融合与共享应当在合规的前提下进行，搭建数据融合和共享的合规框架是发展AI技术的前提。同时目前也有一些新型的技术比如联邦学习法等旨在协助参与企业在保持数据独立性的情况下，完成信息数据的加密交换。通过合规框架与新技术的利用，充分确保数据的合规融合和流动是AI进一步发展，摆脱数据“原罪”的重要共识。
（五） 建立内部AI监督问责机制
为尽可能消除人工智能偏见与歧视的问题，同时满足对AI算法的预防性监管的要求，我们建议企业建立内部AI监督问责机制。具体而言，企业在开发算法时应采用各种控制措施以确保AI算法能够根据其意图运行，并建立定期的运行评估机制，对行为进行验证，包括但不限于内部审核机制，进行风险影响评估并形成报告，定期开展内部教育培训，开通用户投诉监督通道等。
结语及后记——应有大爱
AI技术的发展预示着又一场人类的超级革命，在ANI已然渗透进社会生活方方面面的同时，对AGI和ASI的不懈追求仍在继续。但或许必须承认的是，如果无法正确认识并控制ANI所带来的伦理风险，对AGI和ASI的探索将面临重重阻碍，人类对于AI未知的恐惧将长久的影响社会的进步和发展。但如同人类经历的种种重大变革一般，历史的车轮终将飞速向前奔驰。对于AI的新革命，我们希望大家尽可能摆脱个体认知和价值取向的局限，以人类整个群体的福祉为出发点，以“大爱”来看待AI道德伦理的风险，把缰绳攥在自己手中，有控制的迎接未知的未来。
这篇文章成稿于2020年1月23日，正值新型冠状病毒肆虐的非常时期。作为疫情重灾区的武汉在今天宣布“封城”，以近乎壮士断腕的决绝姿态来应对一场未知的疫情风险。不得不说，我们对于未知难免恐惧，但人性的光辉在关键时刻总是格外的闪耀。我们对在武汉和各地坚守的你们致敬，也对人类的“大爱”充满信心。让我们心存敬畏，用“大爱”来冲淡未知的恐惧，一起度过每一个难关。
[1] Artificial Narrow Intelligence
[2] Artificial General Intelligence
[3] Artificial Superintelligence
[4] “Our world is full of these limited AI programs which we classify as “weak” or “narrow” or “applied”… All these narrow AIs are like the amino acids in the primordial ooze of the Earth. The ingredients for true human-like artificial intelligence are being built every day, and it may not take long before we see the results.” Saena, A. We Live in a Jungle of Artificial Intelligence that will Spawn Sentience, https://singularityhub.com/2010/08/10/we-live-in-a-jungle-of-artificial-intelligence-that-will-spawn-sentience/, Aug 10, 2010, cited on Jan 20, 2020.
[5] 吴汉东：人工智能时代的制度安排与法律规制[J]. 社会科学文摘. 2017年12期。
[6] 郭锐：人工智能的伦理问题与治理原则[DB/OL]. https://mp.weixin.qq.com/s?src=11×tamp=1579574111&ver=2109&signature=ysLzCnA5JM-Qv02Y*CMXTcUKrlKMC-fBt5ap6oU2aQE*fYdAmjLNbvWtdslDABSnsKG-trZsEmwgqSZYCg*xwGjkpfFRs4sfZCqSYMZk-h7kV8NvGSPgZuqSq-iiIZDF&new=1, 2019年9月3日。
[7] 吴汉东：人工智能时代的制度安排与法律规制[J]. 社会科学文摘. 2017年12期。
[8] 杨峻：超越“机器人三定律”，人工智能期待新伦理[OL]. http://www.xinhuanet.com/2019-03/18/c_1124249611.htm, 2019年3月18日。
[9] Personal Data Protection Commission, A proposed Model Artificial Intelligence Governance, 2019.
[10] EC High-Level Expert Group AI, Ethics Guidelines for Trustworthy AI, 2019.
[11] European Parliament Research Service, A Governance Framework for Algorithmic Accountability and Transparency, April 2019.
[12] 腾讯研究院. 欧盟人工智能伦理与治理的路径及启示[DB/OL]. https://www.chainnews.com/zh-hant/articles/831032315738.htm, 2019年9月25日。
[13] Dawson D and Schleiger E, Horton J, McLaughlin J, Robinson C, Quezada G, Scowcroft J, and Hajkowicz S Data 61 CSIRO Artificial Intelligence: Australia’s Ethics Framework, 2019.
[14] National Security Commission on Artificial Intelligence, Interim Report, November 2019.
[15] 孙保学. 人工智能算法伦理及其风险[DB/OL]. https://mp.weixin.qq.com/s?src=11×tamp=1579588170&ver=2109&signature=0v59Q8kFXMuLiH9VDlP057j00NeCJHnSzDOzRQ*Fdk3ppAe5MVEqo0a65SWg1fvEM0iMmlSN-ggNAo9UJ2mVaB0JZh5L8k6mdP-zvjazoplQR0vFbUVzZoIHt*iuOKMK&new=1，2019年12月20日。
[16] “No one really knows how the most advanced algorithms do what they do. That could be a problem.” Knight, W. (2017, April 11). The Dark Secret at the Heart of AI, MIT Technology Review. Retrieved December 12, 2019, from https://wenku.baidu.com/view/a2fc8229cfc789eb172dc8fa.html.
[17] 纽约大学AI研究中心。
[18] “Core public agencies, such as those responsible for criminal justice, healthcare, welfare, and education (e.g “high stakes” domains) should no longer use ‘black box’ AI and algorithmic systems.” Quoted from Ten Recommendations to Make AI Safe for Humanity, (2017, Nov.1). Retrieved on December 12, 2019, from https://boingboing.net/2017/11/01/no-black-boxes.html.
[19] “Transparency - Depending on the type and use of an algorithmic decision system, the desire for algorithmic transparency may refer to one, or more of the following aspects: code, logic, model, goals (e.g. optimisation targets), decision variables, or some other aspect that is considered to provide insight into the way the algorithm performs. Algorithmic system transparency can be global, seeking insight into the system behaviour for any kind of input, or local, seeking to explain a specific input - output relationship.” European Parliament Research Service, A Governance Framework for Algorithmic Accountability and Transparency, April 2019.
[20] 即试图解释任何输入下的系统行为。
[21] 即解释某一特定的输入-输出之间的对应关系。
[22] “AI systems should not represent themselves as humans to users; ... In addition, the option to decide against this interaction in favour of human interaction should be provided where needed to ensure compliance with fundamental rights. Beyond this, the AI system’s capabilities and limitation should be communicated to AI practitioners or end-users in a manner appropriate to the use case at hand.”
[23] https://blog.csdn.net/Tw6cy6uKyDea86Z/article/details/84001518
[24] http://www.sohu.com/a/259640276_100183993
[25] 阿西莫夫的机器人定律即：第零定律：机器人必须保护人类的整体利益不受伤害。第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管，除非这违反了机器人学第零定律。第二定律：机器人必须服从人给予它的命令，当该命令与第零定律或者第一定律冲突时例外。第三定律：机器人在不违反第零、第一、第二定律的情况下要尽可能保护自己的生存。
[26] 郭锐、李依、刘雅洁. 人工智能企业要组建道德委员会，该怎么做[DB/OL]. http://www.bjnews.com.cn/feature/2019/07/26/608130.html, 2019年7月26日。
[27] EC High-Level Expert Group AI, Ethics Guidelines for Trustworthy AI, 2019.
[28] Personal Data Protection Commission, A proposed Model Artificial Intelligence Governance, 2019.
——— 本文作者 ———
宁宣凤
合伙人
合规业务部
susan.ning@cn.kwm.com
宁宣凤律师的主要执业领域为反垄断与反不正当竞争，以及网络安全与数据合规。在反垄断领域，宁律师所提供的法律服务内容主要包括经营者集中反垄断申报、应对反垄断行政调查、反垄断法合规咨询以及反垄断诉讼。早在2008年《反垄断法》实施之前，宁宣凤律师就曾积极参与政府起草该项法案的咨询工作，并在该法颁布后，继续积极参与协助相关条例、实施办法及指南的起草工作。在网络安全与数据合规领域，宁律师曾为多家国内外知名企业提供数据合规尽职调查、风险评估、合规体系建设等法律服务。作为国内最早涉足该类法律实务的律师之一，宁律师在为客户提供网络安全与数据合规法律咨询服务方面有着丰富的经验。
吴涵
合伙人
合规业务部
wuhan@cn.kwm.com
吴涵律师的主要执业领域为网络安全与数据合规。吴律师协助客户制定修改隐私政策，制定跨境数据传输计划，制定数据商业化合规方案，梳理企业数据（包括个人信息保护）合规体系，进行网络安全和数据合规自查，协助搭建数据融合的商业及合规框架，构建企业数据资产体系，进行内部网络安全和数据合规培训等。吴律师擅长从中国数据合规的角度为跨国企业在中国的分支机构提供网络安全和数据合规意见。同时吴涵律师能够立足中国相关法律法规，为中国走出去企业建立符合欧盟（GDPR）及美国等跨司法辖区要求的网络安全与数据合规体系。项目覆盖金融、保险、数据风控、网约车平台、航空、消费电子、互联网广告、汽车、电商等多个行业。
刘阳璐
律师助理
合规业务部
潘驰
律师助理
合规业务部
张乐健
律师助理
合规业务部
感谢关注金杜研究院