其他
郭锐：人工智能的伦理与治理 | 好文
作者：郭锐，中国人民大学法学院副教授，未来法治研究院社会责任和治理研究中心主任
来源：《人工智能》2019年8月刊
（为方便阅读，以省略原文注释）
摘要：近年来，人工智能在自动驾驶汽车、医疗、传媒、金融、工业机器人以及互联网服务等越来越多领域和场景应用，其影响范围越来越宽广。各国产业巨头已经投入大量的精力和资金，开展人工智能关键技术的攻关与应用相关的研究与产品开发，并纷纷推出了不同的人工智能平台与产品。这些发展一方面带来了效率的提升、成本的降低，另一方面也给社会带来了全新的问题。各国、各行业组织、社会团体和人工智能领域的商业公司纷纷提出人工智能的伦理准则，对人工智能技术本身以及其应用进行规制。本文关注人工智能的伦理和治理问题，以期为人工智能在中国的发展实践提供指南与建议。
目次
一、人工智能伦理问题与来源
二、人工智能治理原则与实践
三、结论
对人工智能伦理问题的探讨，既包括形而上学的研究，也包括寻求解决实际的问题和求得社会共识的讨论。如何在人工智能这一全新的技术条件下发现伦理共识，对经济、社会和政治有着深远意义。目前，各国、各个行业组织、社会团体和人工智能领域的商业公司纷纷提出人工智能的伦理准则，对人工智能技术本身以及其应用进行规制。中国政府把人工智能作为产业升级和经济转型的主要驱动力，鼓励、扶持和推动人工智能的发展。在我国推动人工智能发展的关键时期，开展人工智能伦理问题的探讨有极为重要的意义。在此背景下，本文关注人工智能所引发的短期与长期的伦理问题以及相应的治理对策，以期人工智能真正造福人类。
一、人工智能伦理问题与来源
在艺术作品中，不少人熟悉弗兰肯斯坦的形象——一个在雷电中诞生的人和机器结合的怪物。人们对这些强大却并不良善的力量，通常会感到恐惧。人工智能会不会和弗兰肯斯坦这个怪物一样呢？我们会不会创造一种技术最后毁灭了我们人类？包括埃隆·马斯克在内的一众技术领袖，公开提出了这个问题，这迅速引起了公众的注意。在人工智能技术语境下，机器的自主性已经超出人之前所预期的范围，这当然要求有新的责任体系的建构。
人工智能伦理在公众讨论中最有名的雏形，来自科幻小说作者阿西莫夫提出的机器人三定律。今天我们知道，阿西莫夫机器人三定律并不能一劳永逸地建立对人工智能的合理约束，但它的真正价值是提出了一个可能性。这个可能性就是我们所创造的技术——在处理某些问题上比我们要迅速，在机械、物理力量上要比我们强的“自主”决策主体——不仅不会伤害人类，反而能够造福人类社会。三定律所要处理的核心问题是人的主体性问题，这也是探讨人工智能伦理和治理的核心问题。关于人工智能伦理和治理，无论是算法决策相关的问题、数据与隐私相关的问题和社会影响相关的问题，都关涉人的主体性问题。
从人工智能现有能力/技术潜力与它给人类社会带来的负面后果的角度来看，会产生两大类问题：1.人工智能被委以对人类事务做决策的能力，但它对决策结果的伦理判断能力不足；2.人类缺乏引导人工智能发挥作用的终极伦理准则。
第一类问题来自我们对人工智能系统对其决策结果的伦理意义缺乏判断的忧虑。人工智能往往被用来解决一个具体问题，而且只能通过已有的有限数据来作出决策，往往无法像人一样理解更广的社会和伦理语境。故此，我们对人工智能缺乏对决策后果的伦理意义的认知有恐惧，这是完全可以理解的。当人工智能决策的后果涉及一个结果和另外一个结果之间的比较时，往往造成难以预料的后果。例如，人可能给人工智能系统一个获取食物的指令，结果这个系统却杀死了人的宠物。这是因为人工智能对某个结果的伦理意义无法完全理解，以致于错误地执行了指令。我们对人工智能对决策结果的伦理判断能力不足的忧虑，在人工智能技术本身缺乏透明度（黑箱问题）时就更加严重了。人工智能采纳的机器学习往往因为算法（例如机器学习）和算力限制的原因，无法回溯机器作出决定的具体机制。无法回溯会带来我们在事先预测后果和事后作出纠正的能力的局限，导致我们在决定是否应用人工智能技术的问题上踌躇不决。
第二类问题来自我们对人工智能的潜力的忧虑。人工智能可能成为人类全部决定的参与和影响者，但我们尚且不知道没有任何已知的伦理准则能指引上述行为。人类创造的“上帝”无力护理这个世界，这让我们恐惧震惊。我们担心随着人工智能的发展，它会导致已有的社会问题进一步恶化，同时可能带来新的社会问题。
从上述前提出发，笔者从目的、手段两个层面提出思考人工智能伦理（嵌入机器的伦理）的两个基本方向：技术必须促进人类的善（体现在人的根本利益原则）；在越来越发达的机器的自主性背景下确认人的主体性（体现在责任原则）。换言之，认识到新的技术本身的特征和它的潜在社会影响，我们看到人工智能伦理要强调：（1）人可以利用人工智能得到更大的能力（行善/伤害），因此有更大的责任，所以应当更加强调归责性；（2）人工智能则必须服从人类设定的伦理规则。这也是《人工智能标准化白皮书（2018）》中提出了人工智能设计和应用中应遵循的两个基本原则的基本依据。违反人的根本利益原则的人工智能，无论是用来欺诈顾客的营销算法、用于司法造成歧视部分公民的司法决策系统，还是对个人信息的过度收集和滥用，都违反人工智能伦理原则。
根据人工智能伦理风险的具体性质与特征，可从算法、数据和应用三个方面度来梳理人工智能的风险。对伦理风险的治理，需要立法和政策明确各相关主体的责任，包括信息提供者、信息处理者和系统协调者。此外，人工智能还可能对社会产生远期发展的风险，如对既有的就业、市场竞争秩序、产权等法律制度的挑战，甚至生产方式的根本变革，这些我们将其归入长期和间接的伦理风险之中。
算法方面的风险主要包括算法安全问题、算法可解释性问题、算法歧视问题和算法决策困境问题。算法安全问题产生于算法漏洞被黑客攻击和恶意利用的挑战，同时算法从设计、训练到使用中面临可信赖性问题和算法随时可用对可靠性带来挑战。
算法可解释性涉及人类的知情利益和主体地位，对人工智能的长远发展意义重大。国务院颁布《新一代人工智能发展规划》，同时，潘云鹤院士提到人工智能应用的一个需要关注的问题是算法的不可解释性。算法可解释性问题在国外也引起媒体和公众的关注。例如，电气和电子工程师协会（IEEE）在2016年和2017年连续推出的《人工智能设计的伦理准则》白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。美国计算机协会美国公共政策委员会在2017年年初发布了《算法透明性和可问责性声明》，提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释。2017年，美国加州大学伯克利分校发布了《对人工智能系统挑战的伯克利观点》，从人工智能的发展趋势出发，总结了九项挑战和研究方向。其中之一，即第三项，就是要发展可解释的决策，使人们可以识别人工智能算法输入的哪些特性引起了某个特定的输出结果。
与可解释性问题常常同时出现的是算法歧视问题，即在看似中立的算法中，由于算法的设计者的认知存在某种偏见，或者训练算法使用了有问题的数据集等原因，带来了人工智能系统决策出现带有歧视性的结果。这类例子媒体时有报道，例如在金融领域“降低弱势群体的信贷得分”、“拒绝向‘有色人种’贷款”、“广告商更倾向于将高息贷款信息向低收入群体展示”等。
算法歧视主要分为“人为造成的歧视”“数据驱动的歧视”与“机器自我学习造成的歧视”三类。人为造成的歧视，是指由于人为原因而使算法将歧视或偏见引入决策过程中。数据驱动造成的歧视，是指由于原始训练数据存在偏见性，而导致算法执行时将歧视带入决策过程中。算法本身不会质疑其所接收到的数据，只是单纯地寻找、挖掘数据背后隐含的模式或者结构。如果数据一开始就存在某种选择上的偏见或喜好，那么算法会获得类似于人类偏见的输出结果。机器自我学习造成的歧视，是指机器在学习的过程中会自我学习到数据的多维不同特征，即便不是人为地赋予数据集某些特征，或者程序员或科学家刻意避免输入一些敏感的数据，但是机器在自我学习的过程中，仍然会学习到输入数据的其它特征，从而将某些偏见引入到决策过程中，这就是机器自我学习造成的歧视。
算法决策困境源于人工智能自学习能力导致的算法结果的不可预见性。为此要减少或杜绝算法决策困境，除了提高算法的可解释性，还可以引入相应的算法终结机制。
数据方面
数据方面的风险主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。在现代社会，隐私保护是信任和个人自由的根本，同时也是人工智能时代维持文明与尊严的基本方式。人工智能时代下侵犯隐私的风险更大，受害者也更多。
传统法律规范对隐私的保护集中于对个人在私人领域、私人空间活动的保护，以及个人私密的、非公开的信息保护。在个人信息的基础之上，法律规范区分普通个人信息和个人敏感信息。法律通常对个人敏感信息予以更高的保护，例如对个人敏感信息的处理需要基于个人信息主体的明示同意，或重大合法利益或公共利益的需要等，严格限制对个人敏感信息的自动化处理，并要求对其进行加密存储或采取更为严格的访问控制等安全保护措施。个人敏感信息在授权同意范围外扩散，或者个人信息的扩散超出收集、使用个人信息的组织和机构控制范围，以及使用者超出授权使用（如变更处理目的、扩大处理范围等），都可能对个人信息主体权益带来重大风险。
人工智能技术的应用极大地扩展了个人信息收集的场景、范围和数量。图像识别、语音识别、语义理解等人工智能技术实现海量非结构化数据的采集，而人工智能与物联网设备的结合丰富了线下数据采集的场景。例如,家用机器人、智能冰箱、智能音箱等各种智能家居设备走进人们的客厅、卧室，实时地收集人们的生活习惯、消费偏好、语音交互、视频影像等信息；各类智能助手在为用户提供更加便捷服务的同时，也在全方位地获取和分析用户的浏览、搜索、位置、行程、邮件、语音交互等信息；支持面部识别的监控摄像头，可以在公共场合且个人毫不知情的情况下，识别个人身份并实现对个人的持续跟踪。这些都需要法律进一步地规范。
社会方面
二、人工智能治理原则与实践
在传统技术领域，常见的防止损害的方式是在造成伤害之后进行干预。但是，等待人工智能系统造成伤害之时才考虑干预，很多时候为时已晚。一个更好的方法是将即时和持续的伦理风险评估和合规体系建设作为系统运行的一个组成部分，即时和持续评估人工智能系统是否存在伦理风险、并在损害产生之前以及损害不大的时候就通过合规体系进行处理。即时和持续的风险评估对于人工智能系统的保障要比按下“紧急按钮”要有效得多。
故此，我们在讨论人工智能治理应遵循的思路和逻辑时，必须警醒行业自律的有限性和立法的滞后性。如阿西莫夫等科技伦理的思想者所意识到的，必须将伦理在技术层面就进行明确，才能保证治理的有效性。构建人工智能的伦理标准是治理不可或缺的一面。此外，根据法律和政策本身的特征来制定法律、完善政策、设立管制机构，也是治理必须执行的方法。
国内外人工智能治理方面的探索值得我们关注和借鉴。例如，欧盟通过对机器人规制体现了依据人工智能伦理来设计治理体系的前沿探索。美国于2016年出台的战略文件就提出要理解并解决人工智能的伦理、法律和社会影响。英国政府曾在其发布的多份人工智能报告中提出应对人工智能的法律、伦理和社会影响，最为典型的是英国议会于2018年4月发出的长达180页的报告《英国人工智能发展的计划、能力与志向》。
联合国于2017年9月发布《机器人伦理报告》，建议制定国家和国际层面的伦理准则。电气和电子工程师协会（Institute of Electrical and Electronics Engineers，IEEE）于2016年启动“关于自主/智能系统伦理的全球倡议”，并开始组织人工智能设计的伦理准则。在未来生命研究所（future of life institute，FLI）主持下，近4000名各界专家签署支持23条人工智能基本原则。
我国也在这个方面开展了探索与实践。2017年发布的《新一代人工智能发展规划》提出了中国的人工智能战略，制定促进人工智能发展的法律法规和伦理规范作为重要的保证措施被提了出来。2018年1月18日，在国家人工智能标准化总体组、专家咨询组的成立大会上发布了《人工智能标准化白皮书（2018）》。白皮书论述了人工智能的安全、伦理和隐私问题，认为设定人工智能技术的伦理要求，要依托于社会和公众对人工智能伦理的深入思考和广泛共识，并遵循一些共识原则。
人工智能技术的开发和应用深刻地改变着人类的生活，不可避免地会冲击现有的伦理与社会秩序，引发一系列问题。这些问题可能表现为直观的短期风险，如算法漏洞存在安全隐患、算法偏见导致歧视性政策的制定等，也可能相对间接和长期，如对产权、竞争、就业甚至社会结构的影响。尽管短期风险更具体可感，但长期风险所带来的社会影响更为广泛而深远，同样应予重视。
人工智能技术的日新月异与治理体系相对稳定性之间不可避免地存在矛盾，这需要我们明确应对人工智能的基本原则。在国际范围内比较，人工智能伦理基本原则以2017年1月在阿西洛马召开的“有益的人工智能”（Beneficial AI）会议提出的“阿西洛马人工智能原则”（Asilomar AI Principles），以及电气和电子工程师协会（IEEE）组织开展的人工智能伦理标准的工作受到了最多的关注。此前，各国也提出了机器人原则与伦理标准。作者认为，我国人工智能的研究和应用应遵循两个人工智能伦理基本原则，即人的根本利益原则和责任原则。
人的根本利益原则（The Principle of Fundamental Interests of Human Person）
人的根本利益原则，即人工智能应以实现人的根本利益为终极目标。这一原则体现对人权的尊重、对人类和自然环境利益最大化以及降低技术风险和对社会的负面影响。人的根本利益原则要求：
（1）在对社会的影响方面，人工智能的研发与应用以促进人类向善为目的（AIforgood），这也包括和平利用人工智能及相关技术，避免致命性人工智能武器的军备竞赛。
（2）在人工智能算法方面，人工智能的研发与应用应符合人的尊严，保障人的基本权利与自由；确保算法决策的透明性，确保算法设定避免歧视；推动人工智能的效益在世界范围内公平分配，缩小数字鸿沟。
（3）在数据使用方面，人工智能的研发与应用要关注隐私保护，加强个人数据的控制，防止数据滥用。 责任原则（The Principle of Responsibility）
责任原则，即在人工智能相关的技术开发和应用两方面都建立明确的责任体系，以便在人工智能应用结果导致人类伦理或法律的冲突问题时，人们能够从技术层面对人工智能技术开发人员或设计部门问责，并在人工智能应用层面建立合理的责任体系。在责任原则下，在人工智能技术开发方面应遵循透明度原则；在人工智能技术应用方面则应当遵循权责一致原则。
透明度原则
透明度原则要求人工智能的设计中，保证人类了解自主决策系统的工作原理，从而预测其输出结果，即人类应当知道人工智能如何以及为何做出特定决定。透明度原则的实现有赖于人工智能算法的可解释性（explicability）、可验证性（verifiability）和可预测性（predictability）。
权责一致原则
权责一致原则，是指在人工智能的设计和应用中应当保证问责的实现，这包括：在人工智能的设计和使用中留存相关的算法、数据和决策的准确记录，以便在产生损害结果时能够进行审查并查明责任归属。权责一致原则的实现需要建立人工智能算法的公共审查制度。公共审查能提高相关政府、科研和商业机构采纳的人工智能算法被纠错的可能性。合理的公共审查能够保证一方面必要的商业数据应被合理记录、相应算法应受到监督、商业应用应受到合理审查，另一方面商业主体仍可利用合理的知识产权或者商业秘密来保护本企业的利益。
应当明确，我们所说的人工智能伦理原则，不仅应当由人工智能系统的研发和应用 的人类主体遵守（包括在研究机构、行业领域的科技企业和科技工作者），而且这些原则应当嵌入人工智能系统本身。机器如何遵循伦理规则这一点，有人仍有质疑。典型的看法是，伦理规则只是给人的，没有可能给人工智能系统（包括机器人）设定伦理规则。的确，传统上伦理原则所针对的是能够遵循这些原则的主体（Agent）也就是人本身。但是，考虑到人工智能的特征在于机器对人的智能的“模拟、延伸和扩展”，即其决策 不需要操控者一步步的指令，同时这种决策可能会产生人类预料不到的结果，人工智能系统也应当受到伦理规则的规制。
三、结论
社会必须信任人工智能技术能够给人带来的利益大于伤害，才有可能支持继续发展人工智能。而这种信任，需要我们认识和探讨人工智能领域的伦理和治理问题，并且在发展人工智能技术发展的早期就有意识地加以运用。今天学者、科技工作者和社会已经有基本共识，就是负责人工智能系统的研发和应用的人类主体，包括在研究机构、行业领域的科技企业和科技工作者，应当服从一些基本的伦理原则。本文提出的两个基本伦理原则，是国内在这方面思考的总结和升华。除了人工智能的基本伦理原则，前人给我们的另一个启发是人工智能伦理应该嵌入系统本身。当我们越来越依赖于机器人代替我们作出决策时，我们应当在这个决策过程中嵌入伦理思考，而不是等待决策结果已经给我们带来负面影响之后再去纠正。
本文希望用一种更清醒的眼光去看待人工智能伦理和治理问题。学者和公众需要一起探讨：我们有没有可能防止人工智能给个人和社会带来的损害？只有在这个问题得到更深入的思考和妥善解决的时候，人工智能的发展才有真正的基础。
本期编辑：新 一
本期校对：王艺璇