机器人责任——对法律的新挑战
埃里克·希尔根多夫（Eric Hilgendorf）教授是德国著名刑法学家，德国维尔茨堡大学法学院院长，刑法学、信息法学与法律信息学教席教授；北京大学全球教席教授。希尔根多夫教授可能是刑法领域最让人想起“X教授”的人，具有融智慧与力量于一体的独特气质。他是目前德国刑法学者中研究视野最为宽阔的研究者之一，同时拥有哲学博士学位和法学博士学位。在希尔根多夫教授的研究中，也更多地涉及了对跨界问题的思辨和对科技发展的关注。
2018年10月16日下午，希尔根多夫教授在北京大学法学院凯原楼进行了一场题为“机器人责任——对法律的新挑战（Liability for Robots — a New Challenge for Law）”的报告。本报告是北京大学法学院全球教席系列讲座之一。北京大学法学院梁根林教授以及芬兰赫尔辛基大学Kimmo Nuotio教授出席了讲座并进行点评互动，北京大学法学院江溯副教授负责主持并担任翻译。
（1）背景介绍。我们正处于数字革命（The Digital Revolution）的浪潮之中。数字革命的影响力，足以媲美历史上发生的工业革命，人类的生活和工作越来越可以被用0和1所表达的数据来进行处理，这将会给我们带来各种便利，同时也带来各种挑战，这种挑战包括两种具体的表现形式：人工智能和机器人。而这两者并非易于界定。人工智能又叫机器智能，集中体现为在计算机自我学习的技能，例如从错误中学习的能力。从现在来看，人工智能还仅仅存在于不同的领域的计算机系统，比如计算机可以在棋类游戏中打败人类，在一些专门领域的具体项目中超过人类。机器人并不是外形像人类才叫机器人，但是不排除未来出现长得很像人类的机器人，甚至可能在能力上全方位超越人类的人工智能。迄今为止，真正的超级人工智能（所谓强人工智能，根据提出“奇点理论”的库兹韦尔之观点，2045年将出现超越人类智力的人工智能，并且将两者的差距不断拉大）还没有出现。
在传统的小说或者电影里面，有很多的机器人形象。其中，很多机器人都被刻画成对人类产生了巨大威胁的反派角色。当然，也会有一些例外，包括知名科幻小说作家阿西莫夫创作的正面机器人角色。阿西莫夫曾经提出了著名的机器人三定律。
Law Ⅰ : A ROBOT MAY NOT INJURE A HUMAN BEING OR, THROUGH INACTION, ALLOW A HUMAN BEING TO COME TO HARM.
第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管。
LawⅡ: A ROBOT MUST OBEY ORDERS GIVEN IT BY HUMAN BEINGS EXCEPT WHERE SUCH ORDERS WOULD CONFLICT WITH THE FIRST LAW.
第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外。
LawⅢ : A ROBOT MUST PROTECT ITS OWN EXISTENCE AS LONG AS SUCH PROTECTION DOES NOT CONFLICT WITH THE FIRST OR SECOND LAW.
第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。
（2）人工智能和机器人对刑法的三个挑战。第一个挑战：数字革命带来新型的犯罪现象，比如网络犯罪（Cybre Crime）。对于这个问题，德国在很多年前就及时修改了相关法律。2007年8月7日，德国《为打击计算机犯罪的《刑法》第41修正案》获得通过,该修正案完成了欧洲理事会《关于网络犯罪的公约》和欧盟委员会《关于打击计算机犯罪的框架决议》在德国刑法中的移植。事实证明，德国刑法对于网络犯罪的立法应对，是及时且有效的。
第二个挑战：对法律实践产生了很大的影响。数字革命的发展，对于犯罪追诉、刑事辩护以及刑法研究，都产生了很好的影响。学者能够利用大数据、数据库进行更多的学术研究。很多的法律科技公司开发出各种各样的智能系统，帮助法律人处理案件。
第三个挑战：智能化系统的法律地位问题。智能化系统的出现，会导致一些问题。我们在刑法研究中出现了新的课题，其中的首要问题是——这样的智能系统能否成为刑法上的新行为主体（New Actors）？
（3）价值立场之申明。在此，希尔根多夫教授表明了作为法律学者的基本价值立场。他认为，法律的机能包括控制机能和预防机能，法律的价值包括平等性和透明性。他介绍道，在目前关于应对新的科技这个问题上，在欧洲有两种立场。其中，一种立场是，发展新的法律应对新出现的技术。第二种立场是，对现行的法律进行改造，以应对新的技术的出现。希尔根多夫教授表达了明确的解释论立场和渐进式的立法论立场。他认为，即便是面对新的技术，也不意味传统的法律系统就失效了，可以用传统的法律系统来解决新的问题。法学研究和立法应当采取一种更加理性的态度，根据技术发展需要去推进法律的发展，而不是彻底地抛弃原有的法律体系。
（1）德国及欧洲的探索。近年来，德国及欧洲对于人工智能与机器人，进行了大量的研究探索，其中重要的组织和活动包括：①2011年欧盟关于机器人与法律的绿皮书；②2012年交通部关于自动驾驶问题的圆桌会议；③2013-2016年Adaptive机构的研究报告；④2016/2017年德国政府关于自动驾驶问题的伦理委员会；⑤2018年机器学习系统论坛；⑥2018年欧盟人工智能高级别专家委员会。
值得一提的是，希尔根多夫教授所在的维尔茨堡是德国人工智能与法律问题的研究重镇。上述2011年欧盟绿皮书就是在维尔茨堡起草，很多重要的会议也都是在维尔茨堡召开的。2012年，维尔茨堡在德国交通部的支持下，召开了关于自动驾驶问题的圆桌会议，产生了很重要的影响，如对于德国交通法进行修改等。汽车制造业是德国的重要工业支柱之一，德国也希望在自动驾驶汽车领域保持领先地位。上述Adaptive机构出台的报告，主要是介绍欧洲关于自动驾驶相关的法律，包括侵权法、民法等方方面面的法律。在此，希尔根多夫教授提到，德国在2016、2017年出台了关于自动驾驶汽车的伦理规范，这要归功于自动驾驶伦理委员会的贡献。
上述多个重要组织和活动，希尔根多夫多夫教授都是其中的重要成员。这不仅展现了希尔根多夫教授的研究旨趣之丰富、学术影响力之广泛，还令人羡慕于希尔根多夫教授的研究素材之充分。其后，希教授通过一系列案例，探讨本次讲座所涉及的法律主旨。
（2）案例研讨。①Baunatal Case：2015年6月29日，德国汽车制造商大众集团（Volkswagen）位于法兰克福以北的鲍纳塔（Baunatal）工厂，一名22岁技术人员A突然遭到组装机器人抓起，并狠狠撞向金属板，最后伤重不治。经调查，主要原因是另一个工人B提前打开了机器人。
车厂示意图／来自BBC NEWS
在这个案例中，虽然不涉及故意犯罪的问题，但可能会涉及到过失伤害的问题。B没有认真地履行注意义务，造成了对A的伤害。这里可能涉及过失致人死亡罪。B没有认真地履行注意义务，提前打开机器人，导致A的死亡。从监督过失的角度，也可以追究工厂主、安全保障监督人的监督责任。从这个角度，我们可以看到，即便是对于这样的机器人、这样的新技术，也不意味着传统的刑法就完全没有应对的能力。
②Ashaffenburg Case：阿沙芬堡是德国巴伐利亚州的一座城市。这个案例涉及到自动驾驶功能的汽车。司机在驾驶过程中心脏病突发，具有自动驾驶功能的车辆以非常高的速度行驶，司机下意识地将方向盘往右打，想把停在路边的灌木丛之中，但是车辆的自动驾驶系统“认为”，司机右打方向盘的操作是一个危险行为，拒绝执行司机的操作，于是高速行驶的车撞上了正常驾驶的车辆，导致一个三口之家的妻子和孩子被撞死、丈夫被撞伤。这个案件的民法责任没有问题，因为在民法领域，交通事故采取严格责任。但是在刑事责任领域，我们首先想到司机的刑事责任，但司机也是受害者，他根本无法预计也无法避免发生这样的事故。其次，可能会涉及汽车生产厂家的刑事责任。除了毫无疑问的违反注意义务或者疏忽的场合，如果制造商尽了最大的努力来制造了一辆最好的车，德国刑法中存在一个允许风险的概念，不能追究汽车生产者的责任。在维也纳会议中，谁来承担刑事责任，也是核心问题与讨论焦点。
自动驾驶技术示意图／来自网络
③电车难题：第三个案例涉及到电车难题的问题，大家对这个比较熟悉。假设有一辆自动驾驶的汽车开过来，原本的计划是直行，但是有两个晕倒的人在地上，如果直行会导致两个人死亡，同时在左侧有一个岔路口，那边只有一个正常的行人。
电车难题示意图-情形1／来自整理者
另外一个例子是，自动驾驶的车在行驶过程中，有三个小孩突然闯入车道，继续直行三个都会死亡，如果左转会撞死左边那两个，右转会撞死右边那两个。
电车难题示意图-情形2／来自整理者
1950年代，德国刑法学者维尔泽尔（Welzel）就提出了电车难题的法律问题，并且被介绍到英国国家，成为一个在哲学上和伦理上被广泛讨论的问题。按照德国宪法的基本原则，人的生命价值是不可衡量的，不能进行功利主义的计算。为了处理电车难题等相关问题，2012年德国成立了自动驾驶伦理委员会，德国的伦理规范中并没有提出一个明确的功利主义的立场，并没有说以牺牲一个人的代价救出很多人是合理的，因此不能够给自动驾驶的汽车预设一个程序，以作出取舍衡量。在公众看来，按照功利主义的立场，牺牲一个人救很多人是正常的，但是这在德国还是不应当被承认的。不过，第二种情形和第一种情形是不一样的，在第一种情形下，我们不能采取牺牲少数方案，但是在第二种情形下，可以（在无法刹车以及其他选择的情况下）选择去撞死一个人。背后的法理基础是，第一种情形不能牺牲一个本身不处于风险中的无辜者的生命，去解救两个处于危险的人。但第二种情形是可以的，因为这些人本身就处于相同的危险之中。
④Tay case：2016年3月微软推出了名为Tay的聊天机器人，Tay可以回答语音和文字问题，可以在推特和其他社交媒体上与公众交流。 Tay功能很强大，具有机器学习的程序，不仅能回答事实性问题，还可以进行更复杂的交流，甚至模仿交流对象的说话语气和内容。在发现Tay会学习模仿交流对象的话之后，网上一些心怀恶意的人在聊天时故意发表一些种族主义、歧视女性等言论（没过几个小时，Tay在推特账号上已是脏话连篇，而且全部公开。没到一天，Tay已经从友好的邻家女孩变成满口脏话的小太妹。上线不到24小时，微软就宣布下线产品并公开道歉）。
在德国，宣扬纳粹或者宣扬种族歧视是犯罪行为。这个案例在民法上，或许不是一个特别大的问题。但在刑法上的争议就比较大了。
可以追究训练者的责任吗？难处是如何证明他们的故意。可以说，他们只是在恶作剧。但是，他们是不是有让机器人宣扬仇恨的故意，这就非常难以证明。
可以追究生产者的责任吗？机器人并没有发生故障，不能说制造商生产的产品是有缺陷的产品，不能以产品责任来追究制造商的责任。
可以追究聊天机器人的责任吗？理由在于，它是一个具有自我学习功能的聊天机器人。从某种程度上说，发表仇恨言论是机器人“自主”决定的。从目前德国和欧洲的法律来看，这种观点会存在很大的障碍。这种系统，不要说可以具备主体资格，在德国法上，可能连物的概念都不符合，最多也就是一个计算机程序。连民法上的物都不是，怎么能让它来承担违法的责任？
希尔根多夫教授强调，根据这种自我学习的系统所开发的机器人、智能程序，对于开发者来说，有一个非常重要的伦理限制。未来我们设计这种系统的时候，首先要做到的事是要让这些机器人、人工智能遵守一个基本原则——不能实施伤害人类的行为。要使得它们清楚认识到（如果他们具有独立的意识），它们所实施的行为不能产生对人类有伤害的后果。
从刑法的角度来看，如何应对Tay案件中所产生的这样的挑战？在法律上，对于生产者或者程序员，规定一个具体或者抽象的危险犯。当他们把能够对人类产生危险的机器人投放市场时，他们可能就构成抽象或者具体的危险犯。但是，这样的一个抽象或者具体的危险犯，跟我们前面讲到的允许风险，可能存在一定的问题。
总之，希尔根多夫教授的观点是，数字革命或者科技发展对我们的法律造成了很大的挑战。我们在研究应对这些新科技的未来法的时候，作为法律研究者要保持非常审慎的态度。没有特别好的解决方案的时候，对于新的科技发展，包括机器人的设计，要给予一定的法律上的规制。这样才能够从一定程度上确保机器人或者人工智能不会伤害人类。
希尔根多夫教授的总结：①在应对科技革命的背景之下，要采取循序渐进的方式，根据科技革命来促进法律演进，而不是法律革命。②科技革命要求我们对传统的法律进行更为准确的解释。按照法理，不精确或者不准的解释会出现问题。比如电车难题，涉及德国宪法的不得在人的生命之间进行法益衡量的原则。③即便是对于数字革命的挑战。传统的法教义学并不是一无是处。要首先考虑运用传统的法教义学的原理。④没有任何一项科技是绝对安全的。没有任何的科技不会对人类造成任何的伤害。我们还是要支持科技的发展。要运用允许的风险这个法理，以取得平衡。⑤机器学习系统带来更多的特殊挑战。希尔根多夫教授认为，应对挑战的方案是，在刑法上创设新的危险犯。对于生产、制造者或者设计者，规定新的危险犯。要创设这样的犯罪，前提是要进行扎实的实证研究。在实证上要能够充分证明，某一种自我学习的系统会对人类造成确定的潜在的伤害。⑥机器伦理的问题。在设计生产机器人的时候，要了解机器人的伦理。法律人也要了解机器伦理的问题。
Kimmo教授点评：Kimmo教授进行了问题扩展和思维发散，并重点探讨了预防性警务问题和算法责任。大数据和预防性警务是一个热点话题。运用犯罪地图等方式，对于在什么地方、什么时间会发生什么样的犯罪进行预测。包括根据人群进行犯罪危险性评估。在预测过程中，存在明显对于黑人等群体的不公平。心理学的研究成果，人类在作出决定时，更多地不是靠理性计算，而是靠直觉、情绪、感情来做出判断。这是跟机器的最大区别。未来我们要去制造出能够自我决定的机器。但它不可能跟人类一样。机器只能靠逻辑或者从数据中自我学习，进行判断。机器的判断和人类不一样。机器背后还是人类，设计机器是人类，要防范人类利用机器来作恶。
希尔根多夫教授回应：法官对一个黑人进行量刑，法官使用了智能系统，可以运用大数据判断行为人再犯可能性有多大。判定黑人再犯可能性很大，智能系统所使用的数据就是具有歧视性的数据，这些数据本身对于年轻的黑人男性是不利的，年轻的黑人男性再犯的可能性都很大，智能系统必定会得出像本案一样的结论。后来上诉到讨论违宪的问题，上诉法院认为，虽然数据的确存在着过多的案件是由年轻的黑人男性所实施的，的确有一些歧视，但这并非是人为造成的。希教授认为，这样的判断至少是不符合德国人的理解，德国人认为，判断时应当以个人为标准，而不应当与年轻的黑人男性扯上关系，不能根据他所具有的某种特定人群的特征来判断，而应当根据他个人的情况进行判断（概率判断与个别化判断问题）。
梁根林教授点评：两位教授本身都是我们的访问教授，现在成为了我们新的Global Faculty，成为了我们新的一员，希尔根多夫教授的报告对我们法律提出的挑战进行了分析，他所提出的问题我们已经面临到，今后我们可能面临更多，例如网络犯罪的问题、智慧司法的问题、智慧警务的问题，在中国有铺天盖地的摄像头，还有生物技术和网络技术、数字技术的结合，我们现在所讲的命案必破已经成为了一个现实。几年前，希尔根多夫教授认为我们应该研究全自动汽车，但是目前，在北京，全自动汽车已经核发了驾照。这是实现法律的革命还是法律的进化，中国人更多地希望是采取革命的形式，希尔根多夫教授则强调法律的进化。在四个案例中，第一个案例是运用过失犯罪的原理，第二个案例在某种意义上产品责任、产品缺陷的相关原理进行解释，第三个案例按照传统刑法中的紧急避险、被迫行为进行，传统教义学在第四个案例中还有解释空间，在现有框架内，尽可能用法教义学的原理可能是一个相对说来风险比较小、负面效果比较小的安排。这是一个非常好的应对挑战的进路。原来我认为这些问题十分高深，我们作为技术的外行，应对这类问题感到非常高深莫测，似乎无力应对这一问题，但是希尔根多夫教授提供了很好的示范，用传统的教义学原理能够解决大部分原理。但是对于最后一种情况，一般的机器人虽然有学习能力、认知能力、自主意识、自发行为，但都是被人编排好，如果要追求责任，还能够追究到后面的人。但是，引入了自主学习、深度学习的概念之后，如何处罚？对此，我国学术界已经有学者提出，机器人是男人、女人之外的第三种人，应该将其作为刑事责任的主体，也可以按照法人犯罪的思路来确立刑事责任。
希尔根多夫教授补充：中国没有很多历史包袱，可能在科技上后来居上，我们会担心预防性警务，我们如何去控制监控我们的警察人员，从科技的发展来看，未来的发展有四个中心：美国、欧洲、中国和印度。根据与德国科学家的交流，认为中国的科技发展很多领域拥有世界的水平，应对这样的数字革命，应当坚持法律演进的保守主义立场，但是在某些领域应当进行教义学的反思，例如电子人的探讨，新的概念提出来以后对于民法上责任的认定是有一定意义的，我们可以为一些智能系统购买保险，在无法找到责任人的时候，可以找到电子人的人格通过保险费中支付赔偿，来补偿受害人，这只是适用于民法，民法有填补和补偿的功能。刑法是罪责原则，我们怎么说机器人具有可谴责性，这是很难的。如何处罚这个机器人，断电、断油还是推到水中去？电子人的观点可以运用到民法之中，在刑法之中迄今为止可能存在一些难度。
王华伟老师提问：对于案例4，现在的框架中将其作为责任主体较为困难，能否讨论设计算法的责任，德国关于算法的法律责任是如何规定和考虑的。
希尔根多夫教授回答：回答这两个问题要分两个层面，分别是：一个是民事层面还是刑事层面，第二个层面是算法不是产品，算法责任不是产品责任。欧洲有一个相应的文件，将一个智能产品投入到市场上造成了损害，在制造者有过错的情况下，可以追究过错，重点是刑事责任如何思考，在聊天机器人中，算法如果要考虑生产者的责任的话，所生产的算法是否是一个坏的算法，但是案件中算法是运行很正常的一个算法，设计者就是让其自主学习，只是被人操纵了，学习了不该学习的东西。这个机器是一个很聪明的小孩，上幼儿园，回来就满嘴脏话，我们不会说他脑子有问题，只是他周围的环境让他学会了脏话，要证明生产者或者设计者的过失是相当困难的，这个问题十分复杂。这是全球都面临的问题，我们真正进行的是巅峰对话，是世界级的难题，中国应该会有最早的解决方案。
·END·
《中国应用法学》欢迎关注