华政学报 | 翟小波 痛苦最小化与自行车
痛苦最小化与自动车
作者简介
翟小波 澳门大学法学院副教授，法学博士
目次
一、导言
二、失控车难题：功利主义的解决
三、利己还是利他
四、谁有权力来决定算法道德？
摘要
自动车算法的道德设计面临的难题主要包括两类。第一类是道德哲学里经常讨论的失控车难题，即要撞一人还是要撞多人？第二类是保护乘客还是其他无辜的道路使用人的难题，即要自利性自动车，还是要利他性自动车？关于失控车难题的算法的道德设计，应该以功利原则为指导，选择导致最小痛苦量的撞击方案；功利原则要求把自动车的算法设计成利他性的。关于自动车算法道德的规范，最好是由民主产生的立法者依照民主程序来统一确定。
关键词
功利主义 痛苦最小化 自动车 自利 利他
一、导言
本文所说的自动车是指使用过程彻底排除人为干预的自动车，也即国际汽车工程师协会（SAE International）所说的第5级（L5）的自动车。 自动车正在迅速进入我们的生活，这令人兴奋而忧虑。自动车的普及将极大地促进人类的幸福。交通安全将大幅提升：90%以上的交通事故据说是人的错误导致的；不少人乐观地认为，自动车可以避免这些事故。驾校或代驾将不再必要，老年人、小孩、盲人或其他残疾人都将可以享受快捷出行的便利，原先浪费在开车上的时间也可以被充分利用起来。交通效率将大幅提高，交通堵塞将大幅减少。由交通工具导致的环境污染也会大幅降低。这些都是我们尽早推广和普及自动车的理由。但是，自动车的使用也加剧了或凸显了一些原先存在的道德和法理的难题；对于这些难题，我们还缺乏正当且有效的回应方案。
自动车算法的设计应该尽力在效率和安全之间寻求平衡。效率主要是指它要在特定时间内把乘客或使用人运到目的地；安全是指它的行驶要确保乘客和其他路人的安全。举例来说，自动车的算法要依据路况限定车速；在有伤害可能性的情境下，及时发出刹车指令；它要努力确保符合特定效率指标的自动车在使用中避免一切可以避免的伤害；面对不可避免的财产损害，自动车要选择造成较少损害的方案。这些都是没有争议的。然而，总会有一些特殊情境，自动车算法不可避免地要在不同人的生命之间抉择，要决定杀死谁、伤害谁和保护谁。我们把这个问题叫作算法设计的道德难题。自动车的撞击选择会引发事故责任问题，但相对于事后的责任难题来说，事先的算法设计的道德难题具有逻辑上的优先性，它在很大程度上决定了事故责任问题的解决，包括归责原则、责任主体和责任的分配等。
自动车的出现并没有提出全新的道德或法理难题。自动车的算法设计的道德难题实质上是道德哲学中讨论过的老问题在自动车领域的体现。自动车的出现赋予了道德哲学里的这些老问题以急迫而明显的实践意义，为反思这些老问题提供了新素材和新契机。本文就是这种反思的尝试。本文关心的难题，主要包括两类。第一类是道德哲学里经常讨论的失控车难题（the trolley problem），即要撞一人还是要撞多人？第二类是保护乘客还是其他无辜的道路使用人（或第三人）的难题，即要自利性（损人利己型）自动车，还是要利他性（舍己为人型）自动车？
二、失控车难题：功利主义的解决
通常所谓的失控车难题的实质如下：
（1）一辆失控的电车飞驰而来，主轨上有五人，支轨上有一人，此五人和彼一人皆为无辜。
（2）小芳是旁观者， 她对电车的失控无任何责任。
（3）小芳如果按下转轨器，电车便可避开主轨上的五人，但后果是它将撞死支轨上的一人；否则，电车将撞死主轨上的五人。
（4）这是一个道德情境，不是法律情境：小芳的选择不会受到法律的评价和惩罚。
小芳应该怎么做？这是道德哲学里的一个老问题；它的派生形态还包括胖子电车难题与器官移植难题。对传统的人工驾驶来说，这个问题是没有意义的。在传统驾驶的情境里，事故的发生是瞬间的：相关主体也许要对事故的发生承担责任，但在不可避免的事故发生的瞬间，人们难以通过理性、审慎的道德思考和权衡来应对即将发生的事故；相反，他只可以诉诸本能和直觉。自动车的发展使得对失控车难题的回答获得了明显和急迫的现实意义。在事故发生的瞬间 （如刹车失灵），自动车的一切反应（包括撞死路人）都是由相关的主体（或者立法者与政府，或者制造商，或者自动车使用人）事先有意设定的，或者是由事先有意地设定的算法所必然地、系统性地导致的。传统车与自动车的这种差别是自动车的算法设计的道德难题和与这种难题紧密相关的法理难题的根源。这种道德难题的实质是，我们应该在自动车算法中植入何种道德原则？
（一）功利主义的算法
在道德哲学里，对失控车难题的回答，粗略地说，主要有两种。其一是义务论原则。它给出的答案是“不得故意杀伤他人”。义务论诉诸“制造伤害与允许伤害”（doing vs allowing harm）或“意图的伤害与非意图的附带效果”（intentional harm vs unintended side effects，称为双效理论）的区别，主张说前者是被禁止的，后者则是可以被允许的。对于失控车难题，义务论的回答是小芳不得转轨。这样的回答是值得商榷的。“制造伤害和允许伤害”或“意图的伤害与非意图的附带效果”的区分是很难成立的。小芳明知不按下转轨器将导致主轨上五人死亡，她可以按下转轨器但却拒绝这么做，结果导致主轨上五人死亡——这样的选择，难道不是在制造伤害吗？见死能救却不救难道只是“允许伤害”，从而是可以被允许的吗？失控车情境下的困境是不得不在不可避免的两种伤害之间选择——没人希望或追求或意图任何一种伤害，如果它是可以避免的话；所谓的希望或意图在这里是没有意义的，因为我们预设了小芳明知两种伤害之一必然会发生，一个人的必然的、可预见的死亡（不论是先死还是后死）是五人获救的原因；“意图的伤害与非意图的附带效果”的区分难以有效地、忠实地表达这种困境。明知转轨会救下主轨上的五人，但却必然会导致支轨上的一人死亡而转轨，与明知推下胖子必然导致胖子死亡，但却会救下主轨上的五人而推下胖子，是一样的；唯一的差别是那一人（支轨上的一人或桥上的胖子）是先死还是后死，但这种时间上的先后并不具有道德的重要性。即便义务论所指出的这些区分是可以成立的，这些区分也不适用于自动车。自动车在事故瞬间的选择，都是编程者或立法者必须事先、有意地确定好的，编程者必须——在伤害不可避免的情境下——有意地在不同的伤害之间来选择和取舍。
也有人建议说，对失控车难题的解答，应该采取受害人的视角。不论是对主轨上五人中的任何一人来说，还是对支轨上的一人来说，他自己的生命都是整个世界；这样一来，最好的方案也许是掷硬币或抓阄，它让每个人都有50%的获救机会。在设计自动车的算法时，受害人视角是应予考虑的因素之一，但它不应该成为排他性的或压倒性的视角。根据受害人视角，五人和一人的不同在道德上是不相关的；这样一来，失控车难题就根本不存在，或者说根本就不是难题。对于算法设计者来说，失控车难题是关系公共幸福的一个道德难题。正确的视角应该是立法者的或公众的视角。即使采取受害人视角，这里的受害人也应该是假想的而非真实的受害人。也就是说，每个人都可以自问，如果我处在潜在受害人的境地，是处于此境地的六个人之一，我希望自动车撞击谁？答案似乎是功利主义的：每个人会有六分之五的概率成为主轨上的五个人之一，而只有六分之一的概率成为支轨上的一人；大家显然会认为，小芳应该按下转轨器。
共同体是由有情有欲、有血有肉、趋乐避苦的很多个人构成的；立法者应该努力让他的共同体内的痛苦最小化、快乐最大化。这样的立法者视角正是功利原则所要求的。它对失控车难题的回答，一如它对一切道德问题的回答，即应该选择那种可以把痛苦最小化的方案。功利原则是一个高度抽象和笼统的指示。具体场景下，何种方案可以最大限度地把痛苦最小化是极其复杂的。如果暂时不考虑人与人具体的生物性或社会性差异，不考虑这些差异与潜在被撞者自己、与他相关的确定的人和其他不确定的社会中人的苦乐感觉的相关性，而且，如果只是抽象地认定一个生命是一个苦乐主体，那么在失控车情境里，功利原则会要求小芳按下转轨器。这似乎也是多数人会接受的做法。
一些学者相信，自动车算法的道德设计问题，并不只是抽象的对错问题，而是要我们来解决的具体的实践问题；对自动车算法的规管，要符合人们的价值信仰或期待，至少不应该引发公愤。从这个信念出发，他们开展了很多实证研究，旨在了解人们对自动车算法道德的期待。 这些研究是很粗糙的，它们以高度简化的场景为主题；考虑的因素也是很简单的：通常以人命的数量为主，兼顾年龄、是否遵守交通规则等；这些学者对他们的数据的解释只是以对功利原则或功利主义的很粗糙的理解为根据的。尽管如此，这些研究也是很有价值的。他们的结论是，功利主义的算法总体上是人们更易接受的；他们进而得出结论说，功利原则应该成为算法道德的基本原则。笔者在这里要补充说，功利原则应该成为自动车算法道德的基本原则，主要是因为它是正确的原则；当然，说明功利原则的正确性不是本文的任务。如果其他条件都相同，在极端情境下，功利原则要求杀一人（究竟杀谁？怎么杀？如何补偿？这些是另外的或许更重要的问题）而救多人，这的确是残忍的，是某些人脆弱的神经难以接受的，但不要忘了，这是极端情况下的无奈的选择：在这样的极端情况下，还有比功利原则更不残忍的原则吗？与其他选择相比，例如不杀一人而导致多人被杀，或者通过掷硬币或抓阄来决定谁该被杀，功利原则（允许杀一人、救多人，并给予被杀者的家人亲人或其他相关人充分的补偿）其实是最不残忍的。关于掷硬币或抓阄，笔者并不是反对这种决策程序本身；当若干备选方案在道德上没有差异时，也许可以采用掷硬币或抓阄来决策；但当这些方案在道德上有重要差异时，掷硬币或抓阄便是极不严肃、极不负责任的程序。
（二）功利因素的种类
如果接受功利原则对自动车算法的道德设计的指导意义，接下来的任务便是，第一，识别和统计各种功利因素（即功利性考量）及其价值；算法设计者要充分认识到，现实生活中的功利因素是无限复杂和多样的，识别它们、确定它们的价值都是很艰巨的任务；第二，根据已掌握的各种功利要素的价值的信息来估算和比较不同的撞击选择造成的痛苦的大小，并选择造成最小痛苦的撞击方案。第一项任务固然艰难，但第二项任务要比第一项任务更艰难。
我们先来考察失控车难题中相关的功利因素。它们涉及大量的个人信息，至少包括以下五个方面。
其一，暂不考虑人与人的差异，假定人与人都是一样的：这时，被撞击的人的数量或范围便是唯一的功利因素。
其二，潜在的被撞者有没有避让的可能性？这种可能性有多大？他被撞死或撞伤的可能性有多大？他被撞伤的程度有多大？
大致来说，面对甲乙两组潜在的被撞者，算法设计者要比较各种撞击方案所导致的每一组中最不幸者（即被撞后存活可能性最低的那个人）的存活概率，然后选择导致最不幸者最大存活概率的撞击方案。如果两个撞击方案导致的各组的最不幸者的最大存活概率是相等的，就要比较每组中的第二最不幸者的最大存活概率，依次类推。如果在做第N轮比较时，仍然不分胜负，这时或许就得来掷硬币或抓阄了。
其三，若不是撞死，而是撞伤，则要考虑那些影响潜在被撞者的伤残所导致的痛苦量的因素，比如这种痛苦的强度、持续时间等。
关于持续时间的考虑将涉及潜在被撞者的年龄。考虑到伤残所导致的痛苦量，人们有可能认为，撞死并不必然比撞伤更坏，这时就要考虑和比较撞死（各种类型或程度的）与撞伤给被撞者导致的痛苦量；基于这种比较，也许算法应选择撞死张三，而不是撞伤李四。以上讨论的这些是撞击行为的原初损害。对原初损害和接下来要讨论的派生损害所导致的痛苦量的估算，还要考虑这种损害给被撞者或其他相关人造成的其他痛苦。边沁非穷尽性地列举了十二类的痛苦；对不同类型的痛苦的量化估算，又要考虑影响被撞者和其他相关人对痛苦的敏感性的各种因素，边沁列举了三十二项。当考虑到不同的被撞者对痛苦的敏感性时，客观上相同的撞击行为给不同的被撞者造成的痛苦量便已不再相等了。
其四，撞击行为的派生损害，即因为被撞者的死伤而给确定的、与被撞者有联系的人（简称“确定的相关人”）造成的损害。
前述的痛苦的分类和影响敏感性的因素在这里依然是适用的。确定的相关人（包括亲戚、朋友）可能是因为血缘、利益或同情心等因素而与被撞者发生联系。比如说，自动车不可避免地要撞击张三或李四，张三和李四在各方面都一样，唯一的差异是张三上有老下有小，是大家庭唯一的支柱；而李四上无老下无小，只是无牵无挂的苦行僧，算法应该指令自动车撞击李四而不是张三。很多人会认为这个观点“看起来”怪异和恐怖，笔者也承认它“看起来”怪异和恐怖，我在下面会解释它为什么“看起来”怪异和恐怖；这种“看起来”的怪异和恐怖说明了什么道理。
与上一段讨论的因素紧密联系的一个考量是自动车使用人与潜在被撞者的关系，比如说，被撞者是使用人的儿子还是陌生人？对功利原则的一个误解是说，它不考虑特别关系或亲疏之别，一样地对待所有人，在计算时会大义灭亲。也许有些功利主义者的确这么认为，但至少边沁不这么认为。边沁主张立法与制度设计都应该促进最大幸福，亲情、友谊和特殊关系等构成幸福（或者痛苦）的原因。如果要在儿子和陌生人之间选择撞击对象，边沁会要求算法优先保护使用人的儿子。人们的相互背叛和伤害是常有的，但亲朋间的相互背叛和伤害，比一般人之间的背叛和伤害，要造成更多的痛苦。这种背叛和伤害比较多的社会肯定比这种背叛和伤害比较少、相互忠诚和帮助比较多的社会拥有更少的幸福。挑拨或鼓动亲朋相互背叛和伤害的立法者肯定比不这么做的政府更邪恶。边沁曾明确说过，其他条件等同时，伤害亲朋的行为比伤害陌生人的行为更邪恶，应该受到更严厉的惩罚。
类似的影响派生损害所导致的痛苦量的因素，还包括潜在被撞者的才能、品德或职业等。重复一下：笔者深知，很多人会认为，我这里的观点“看起来”越来越怪异和恐怖，我会在下文解释为什么它“看起来”怪异和恐怖。这里要强调的是，第一，笔者只是在探讨与撞击选择相关的、影响相关撞击选择所导致的痛苦量的因素；第二，笔者并没有说算法一定要指令自动车去撞击刑满释放的强奸惯犯，而避开迈克尔•杰克逊。比如说，100个人要去聚餐，其中99个人偏爱海鲜，但一个人确定地会因为对海鲜高度过敏而死亡，功利原则很可能要求大家放弃海鲜：功利因素很多，相关主体的数量（杰克逊有亿万歌迷）只是众多因素之一，其他因素——比如说痛苦的强烈程度——也许比数量的因素更重要。
其五，原初损害和派生损害都是边沁所说的初级损害。
与初级损害并列的是二级损害，它是指一个行为对整个共同体或不确定的多数个人造成的损害。边沁把二级损害也分为两种：其一是恐惧，即由对遭遇同样损害（被撞死或撞伤）的忧惧而生的痛苦；其二是危险，即被撞死或撞伤的可能性。自动车关于撞击算法的不同的道德设计，无疑将特定社会中的所有人都置于不同程度的恐惧和危险之中。比如说，Faulhaber等人的研究表明，对一般人的道德直觉来说，是否遵守交通规则（如走人行道或戴头盔）对于撞击的选择并不构成实质性差异：一方面是不遵守交通规则的两人或多人，另一方面是遵守交通规则的一人或少数人，如果不可避免地要在这两群人之间选择，绝大多数人会选择撞击遵守交通规则的一人或少数人。 在这里，我们前面引入的无辜性假定已经被突破了，不遵守交通规则的人并不是纯粹的无辜者。如果Faulhaber等人所揭示的道德直觉被接受为算法的一项道德规则， 第一，它会在某特定个案中减少死伤，但它是极不公平的，它实际上是在惩罚守法和负责任的人；第二，它将在全社会范围内，尤其是对于负责任、守法的好公民造成极大的惊恐和危险；第三， 它将导致人们丧失遵守交通规则的动机，从而极大地破坏交通规则的权威和作用，摧毁交通法治，而这将频繁地、大规模地导致更多的交通事故和死伤。笔者在此并不是说，要不惜一切代价来惩罚违反交通规则的人。比如说，一个遵守交通规则的杀人惯犯，一个满载小学生的违反交通规则的校巴，前者也许并不应该受到自动车算法的优先保护；然而，撞击遵守交通规则的人所导致的普遍的恐惧和危险，应该在自动车算法的道德设计中得到适当的考虑，给予应有的分量。边沁的二级损害的理念的意义主要在于，我们要考虑某种撞击方案被确立为一项规则后对整个社会的痛苦量的长远而广泛的影响。
（三）平等问题、怪异和恐怖
功利原则要求，自动车的算法应该选择在特定共同体内造成最少痛苦的撞击方案。前面初步地探讨了影响不同撞击方案所造成的痛苦量的因素，笔者把这些因素称作功利因素。在这些功利因素中，人数的考量、撞死或撞伤的概率的考量和二级损害的考量主要是客观的、普遍性考量；敏感性的考量和派生性损害的考量则主要是个人性考量。这些个人性考量，导致不同的撞击行为所造成的痛苦量是不一样的，从而要求算法做出相应的撞击谁、避开谁的抉择。人们认为笔者这里的观点“看起来”怪异和恐怖，很可能是因为，这样的算法要根据每个人的死亡或受伤所造成的或代表的痛苦量给每个人定价，这种给每个人定价的行为似乎违反了平等原则，或冒犯了人们关于平等的道德直觉。此外，一个常见的说法是，功利原则认为“每个人只算一，没人应被算作是多于一。” 有人因此主张说，功利原则认为，一切人都是相互平等的，所以要把痛苦最小化就是要把被撞击的人数最少化。
上述的关于平等原则的认识或直觉，以及关于功利原则的平等理念的理解，是值得商榷的。立法设制要在特定共同体内促进痛苦最小化、幸福的最大化。边沁的确主张说，在立法设置时，应该假定每个人都是平等的。他的意思是说，每个人都是幸福/痛苦的一个单位或承载者；计算一个共同体内的幸福/痛苦时，要把每个人都考虑在内，而且不得考虑与每个人的幸福/痛苦无关的因素，也就是说，不得基于社会地位、财富、性别、种族、血统等不相关因素而歧视人们。但这并不等于说，每个人对于特定共同体的痛苦最小化、幸福最大化来说都是等值的、具有同等意义的；这并不等于说，功利原则要求自动车的算法只把被撞死和被撞伤的人数最小化。如Michael Quinn所说，这样的平等性假定，并不表明边沁认为，每个人在幸福/痛苦计算时都是等值的；这种假定实乃基于立法者的信息困境的无奈之举，因为立法者难以确知每个人对苦乐的敏感性的差异，难以确知每个人所凝结或承载的社会关系的差异，难以预测每个人的未来的品德、才能和行为，从而难以确知每个人的存活所承载的幸福量或死伤所意味的痛苦量；面对这种困境，最不坏的做法是假定它们是相等的。
这种信息困境不表明，在幸福最大化或痛苦最小化的计算中每个人是等价的。相反，前面的讨论表明，每个人所承载的幸福量是不一样的。如果可以充分地掌握关于每个人的足够的信息，我们就可以确定地说，每个人在“已往的”生命历程中对其所在的社会的幸福量和痛苦量的影响是不一样的，我们可以根据这样的计算来给每个人已往的生命定价。在这里，我们必须要把两个问题区别开来：一个是人工智能的掌握和计算信息并进行预测的能力问题；另一个是假定计算能力不存在问题，假定算法真的是全知全能（这是一个很大的如果），那么，算法该如何进行道德抉择。功利原则首先是对第二个问题的回答。现在来讨论它对第一个问题的看法。
“看起来的”怪异和恐怖主要来自对这样的难题的意识：即我们如何去根据已有信息来确定未来的撞击选择所导致的痛苦量。所有的信息都是过去的数据；我们可以根据过去的数据预测未来，这种预测表现为概率，但这种概率并不可以确定地表明某个人的未来境况和行动、品德和才能。一句话，我们不是全知全能的上帝，没法准确地为一个人的未来定价。然而，如果今天的人工智能根据其掌握的信息可以确定地知道，小芳的死亡将比小明的死亡在人世间造成两倍的痛苦，算法就不应该同样地对待他们；相反，它应该给出的指令显然是撞击小明。如Peter Singer所说，如果我们的确知道我们的行为的结果，如果功利主义的计算要我们去突破某项所谓的道德规则，我们就应该突破这项规则。“如果我们假定，拉斯科尼科夫真的知道他会用放高利贷的老板娘的钱去做更大的善，而且这样做不会有进一步的坏结果，那么他杀害那个老板娘的行为就是正确的。” 但我们很难确知这一点：也许我们对这一点可以有90%的确信，但如果剩下的10%的不确信竟然的确发生了，我们以90%的确信做出的选择所导致的痛苦（包括人们的惊恐）有可能完全压倒这个选择所要避免的痛苦。举例来说，迈克尔•杰克逊和刑满释放的强奸惯犯，应该撞击谁？对功利原则来说，这个问题的答案并不是显然的，因为迈克尔•杰克逊或许明天会突然死亡，而强奸惯犯有可能立地成佛。笔者要强调的是，功利算法所谓的“看起来”的怪异和恐怖并不是源于它要给每个人定价的尝试，而是源于这种定价的易错性以及这种错误（很类似冤假错案）导致的极大的痛苦。这种“看起来”的怪异和恐怖是定价的不确定性和易错性导致的，它也会随人们对这种定价之确定性的认知的改变而改变。比如说，一个是十岁的小孩，另一个是九十岁的老人，应该撞谁？功利原则会指令自动车去撞九十岁的老人。这个指令之所以看起来并不怪异和恐怖，因为人们通常大都倾向于认为，十岁的小孩要比九十岁的老人有更长的生命；因为这种信念的确定性要远大于我们对“强奸惯犯一定会再次强奸、死不悔改”的信念的确定性。但这里的两种信念的确定性也都只是概率而已：它们的性质是一样的，之所以前者不会显得怪异且恐怖，后者却显得如此，主要是人们对它们的概率的感知（或偏见）不一样；这种怪异且恐怖的印象，实际上与功利原则对人们所承载的幸福量进行定价的理念无关。
正是因为这种不确定性，在前面讨论各种功利因素时，笔者列举的主要是客观性的或个人性的因素，没有列举群体性的因素，比如说，劳动者还是剥削者，黑人还是白人，等等。这样的群体性因素对一个撞击选择所导致的痛苦量的影响，至少受到双重不确定性的困扰：第一，前面所说的从过去数据推出未来的痛苦量的不确定性；第二，从群体性特征推出个体性特征的不确定性，比如说，黑人作为一个群体的犯罪率也许比白人高，但这绝对不表明黑人约翰要确定地比白人汤姆更易犯罪。
（四）给人的未来定价：快乐计算
痛苦最小化是我们的目标，但我们难以百分百地确定我们的选择是否必定是把痛苦最小化的方案。我们该怎么办？是不是因为没法根据一个人的过去确知他的未来，就该放弃计算、放弃给人定价呢？不是的。既然目标已经确定，正确的做法就是迎难而上，探索能够最大概率地实现目的之最有效途径。前面关于人们对未来的预测的不确定性的讨论，让我们意识到我们的计算可能有严重的问题，让我们放弃全知全能的上帝视角。但这些问题不是我们放弃给人定价的理由，而只是改善这种计算和定价的理由。我们永远无法百分百地确知任何事情，排除一切怀疑，这是我们人类的宿命：一切都只是概率或高或低的猜测，但我们又不能因为没有百分百的确知就放弃行动。我们所能做的，只是尽力改进我们的计算，但同时意识到我们会犯错，给自己保留改错或补偿的机会。
我们只能根据概率或高或低的猜测而行动，从这个角度来看，所谓的不同版本的失控车难题中人们的看似很不一样的道德直觉也就根本不是谜团，无任何神秘之处；它们只是反映了人们不同的功利性计算。在简单的旁观者失控车难题中，多数会认同撞一救五的方案，是因为，我们认为我们有六分之五的概率成为主轨上的五个人之一。在胖子失控车难题中，我们对是否要把胖子从桥上推下去犹疑不决，是因为我们对我们会成为胖子的概率（二分之一，因为胖瘦是相对的）的感知与对我们会成为五个人之一 的概率（六分之五）的感知发生了冲突；在器官移植难题中，我们之所以反对杀掉一个总体上健康的病人，反对把他的器官贡献给五个等待器官移植的病人，是因为，我们成为这样的等待器官移植的病人的概率是极低的，但我们成为去医院看病的人的概率是极高的。
功利原则对自动车算法的道德设计的要求，实乃边沁所说的快乐计算（felicific calculus）。一些学者似乎低估了快乐计算的复杂性。也许功利原则比其他的伦理框架要简单，但如上所述，快乐计算本身是高度复杂的，是极其困难和极富挑战的。它要求算法掌握关于每个人的详细资料或信息，以便计算或比较每个人在其过去的生命历程中所承载的幸福量，并据之来预测撞击他所导致的痛苦量；算法要掌握的信息不只限于每个人，还包括每个或许会上路的交通工具的性能和安全指标等。这样的资料是无限复杂的。对功利原则的一个常见的指责是说快乐计算太难。这种困难，除了因为信息不完整外，还因为，快乐和痛苦的强度是无法测量的，在人与人之间也是难以通约的。关于快乐计算是否可能和如何可能的问题，相关的文献汗牛充栋，笔者在此无意卷入相关讨论。
笔者在此要指出的是，边沁比任何人都更敏锐地承认苦乐的主观性、它们的价值测量的困难、它们的人际不可通约性、根据过去的数据对未来做出的猜测的不确定性，但同样不可否认的是，苦乐感觉、导致苦乐的因素在人们之间也有很大的共同性，对苦乐或导致苦乐的因素的计算以及根据这个计算来决定未来的行动，是很普遍的、无法逃避的事实。如边沁所说：“开展这些计算是困难的：这些计算也缺乏确定性。是这样吗？这的确是不能否认的。但即便如此，我也可以大胆地主张说：尽管这种方法提供的做出正确判断的机会是有缺陷的，但没有任何其他方法可以提供比它更好的机会。任何其他的判断方法有多好多坏，都取决于它接近和偏离这种方法的程度……假定存在一种与此不同的判断方法，那么该方法偏离功利的机会，将是快乐计算法偏离功利的机会，加上该方法偏离快乐计算法的机会。”
如果说我们今天的社会里的痛苦比百年前、千年前少了， 那也主要是因为，我们今天对不同的因素（行为模式、才能、品德等）和痛苦之结果之间的关系的认识更可靠了，从而可以做出更靠谱的立法或安排了。考虑到人工智能掌握和处理信息的能力要远超出人类，它的计算将比人类的计算要接近完美；当然，即使再强大的人工智能，也不可能一次性地考虑和计算所有相关信息。即便如此，我们也有理由乐观：数据和材料都是在时间之流中逐渐积累的，计算能力是可以逐步改进的；尤其是考虑到，人工智能的算法具有深度学习的能力，指望算法逐步算得更准，更正确地给每个人的过去定价，并根据这种定价来更正确地预测和比较特定撞击行为所导致的痛苦量，根据这种预测来发出撞击指令，把不可避免的痛苦最小化，不仅不是乌托邦式的幻想，而且还是最不坏的做法。当然，算法的威力是与它可以掌握和处理的信息成正比的；由此而生的一个的隐忧是，自动车可以实现最大幸福的程度是与自动车算法对我们的隐私的掌握和运用成正比的。这样一来，每辆追求安全的自动车都将是一个边沁式圆形监狱（panopticon）。目前，人们显然低估了自动车算法的发展对人们的隐私的侵犯程度，假定隐私是值得保护的——这是一个很大的假定。
（五）最不幸者？
借鉴罗尔斯的原初状态和最大化最小值的理念，Derek Leben主张说，（假定每个人的未来承载的幸福量是一样的）自动车关于撞击算法的道德设计，应该优先保护那些有最大概率受最严重伤害的潜在被撞者 （the worst-off party, 最不幸者）。Leben的分析是不是对罗尔斯的理念的正确使用，并不是笔者在这里关心的。笔者要说的是，功利原则，基于其所认可的边际功利（效益）递减的原理，也会把“某个被撞者有最大概率受最严重伤害”作为算法设计的一项考虑，但它却并不必然要求优先选择确保最大存活概率的方案。举例来说，自动车或左转或右转，左转有1%的概率导致小芳死亡、99%的概率导致小芳终身残疾；右转有2%的概率导致小丽死亡、98%的概率不对小丽造成任何伤害，Leben认为，自动车应该左转。但这样的指令显然不符合功利原则以及它对风险的评估和计算规则，因为99%的终身残疾的痛苦，显然要大于2%概率的死亡和98%概率的安然无恙。
（六）功利要素的社会建构
自动车的算法要具有社会可接受性。不同的社会对算法伦理的期待有很大程度的一致性，但这种期待也在很大程度上随社会之不同而不同。这种社会性的差异是一种基本事实，也是功利原则所承认和要求的。这种差异，实乃源于功利因素的主观性，而功利要素的社会性、建构性则是这种主观性的一个重要体现。人们如何来测算某个行为所导致的幸福量或痛苦量呢？“根据回忆、观察和类比：对他自己在过去的某种场合的感觉；对其他人的言行的观察；我们的被认为是源于某种感觉的言行与那些导致我们的相同言行的感觉之间的类比”。我们对苦乐的感觉、我们与苦乐感觉相联系的言行，又在很大程度上依赖于复杂的、社会性的心理过程，依赖于我们社会性地形成的信念、态度或社会规范。客观的或物理性特征都相同的撞击行为在不同的共同体内会造成很不相同的痛苦量。比如说，Faulhaber等人的研究表明，当在年轻的与年老的之间选择时，人们总会选择撞击年老的。但若是在东亚社会，人们对这样的选择也许会犹豫不决；亲人身上所承载的幸福量在中西社会里也会不一样。这些原因决定了，与交通规则不一样，自动车的算法道德或许要有更大的社会性、地方性和差异性；它要比交通规则更难有全世界统一的规则。
三、利己还是利他
我们现在来讨论第二种难题，即当不可避免地要在自动车使用人（即乘客）的生命和其他无辜第三人（如路人或其他交通工具的使用人，也可称作潜在被撞者）的生命之间做选择时，算法道德又该如何设计：是要利己性（损人利己型）自动车，还是要利他性（舍己为人型）自动车？
很多的考量（如相关主体的相关过错）在道德上是相关的，应该在特定阶段输入到算法中去，应该在特定情形下影响算法的指令。但这种输入，只应该发生在基本的道德难题解决之后。为了突显这里的基本道德难题，我们宜暂时搁置其他相关因素，让我们假定：
（1）我们面对的是一个使用人与一个潜在的被撞者。当使用人与潜在被撞者人数不一样时，这里的难题就在很大程度上转化成了前述的失控车难题。
（2）使用人和潜在被撞者都是无辜的（当然，有辜无辜的判断也并非易事）。
（3）他们所承载的未来的幸福值是相等的。
（4）自动车要么撞击无辜的第三人并致其死亡，从而保护使用人；要么撞击其他障碍物导致使用人死亡。
在这种假定的情境下，算法道德又该如何设计呢？一种观点认为，自动车算法应该优先保护乘客或使用人，自动车应该是自利性的。笔者下面就来介绍支持这种观点的理由，并反驳之。
（一）自利性自动车：自然心理？
第一个理由是，自利性自动车符合自动车使用人的自然心理。已有的实证研究表明，在上面设定的情境下，人们多数不会选择牺牲使用人，即便无辜的第三人是一名儿童。
在潜在被撞者超过二或三人时，而自动车的乘客只是一人时，Faulhaber和Bonnefon等人的研究表明：人们倾向于认为，自动车应该牺牲乘客。 但关于该结果，Faulhaber等人解释说，因为他们所设定的调研场景是虚拟的，调查对象是在回答关于生死的虚拟的问题：“很可质疑的是，若人们真是遭遇了这样的生死困境，他们还会不会愿意牺牲自己并以有利于避开多数生命的方式来行动；他们在被调研时的回答也许是源于这种回答的社会可取性（social desirability）。” 笔者赞同Faulhaber等人的分析，被调研者的回答最好是用“站着说话不腰疼”的心理来解释，它并不能反映人们在真实的生死困境中的行为倾向。在真实的极端紧急的生死困境中，人们的行为更多是由恐惧、求生的直觉或本能（恐惧、求生）来调控的。Bonnefon等人的研究也很好地确认了这一点：多数人虽然认为自动车应该优先牺牲乘客，但却不愿意购买牺牲乘客的自动车。总之，在我们设定的情境下，人们倾向于认为，自动车的算法应该优先保护乘客，撞击无辜第三人。这其实反映了自动车使用人的自然的心理，但是，这种自然心理在道德上有瑕疵，在逻辑上是错误的。
Bonnefon等人的实证研究表明，人们普遍认为，利他性自动车是符合道德要求的。反之，自利性自动车在道德上是错误的，因为它允许使用人享受自动车带来的舒适和效率，但却让无辜的第三人为此承担风险。当然，笔者说它是一种道德错误，这并不等于说它就应该被禁止。很多科技产品都在给使用者带来收益时，却把风险转嫁给了无辜的第三人。这种道德错误或许会给使用人设定额外的责任或义务，但并不必然构成禁止使用某产品的理由。因为某产品在道德上是不纯净的，从而彻底禁绝它，有可能导致更大的道德错误，比如说，这会导致一个为人类创造极大福祉的行业（在本文中即自动车行业）无法发展。但它是一种道德错误的说法的确表明，如果有一种更有效的、达到相同或更好目的的、道德上也正确的产品 （笔者的确认为，利他性自动车就是这样的产品），那么我们就有理由抛弃这种道德上错误的产品。
与其他科技产品的风险不一样，自利性自动车还存在一种逻辑的错误，此即帕菲特所说的“直接的集体性的事与愿违（directly collectively self-defeating）：我们每一个人都保护自己而牺牲他人，与我们都不这么做相比，这将更大程度地挫败我们每个人的目的。” 交通情境特征之一是交通工具的使用人是相互作用、互为客体的，每个自动车都可能成为潜在被撞者，每个人都可能成为无辜第三人；如果每辆自动车都追求优先保护使用人、优先牺牲他人，不仅无辜第三人不再安全，甚至每个使用人也都不再安全。所以，可以实现大家（包括自动车使用人）的安全最大化、真正符合功利原则的做法也许是，每个自动车都优先保护无辜第三人——这是可以避免囚徒困境的更好的协调与合作方式。利他实乃开明的而非盲目的自利。这似乎也是多数人接受的观点。Bonnefon等人的研究表明，“人们倾向于同意，如果自动车是功利主义的（即致力于把道路上的伤亡最小化），每个人都将从中获益”。 Tay 对传统人工车情境下人们的安全选择的研究似乎为这一理论可能性提供了经验的证据：人们一般会认为，驾驶结实的大车（如SUVs）对他们是安全的；Tay的研究表明，如果人们优先保护他人的安全，选择驾驶轻便的小车，撞车事故的死亡率要比大车相撞的死亡率低很多。
利他性自动车也比自利性自动车在道德上更正确，符合受益者负担风险的原则。有人会说，利他性自动车把风险分配给乘客，这等于是算法道德的设计者替乘客选择了自杀。这种说法是难以成立的。如果这种算法道德是使用人周知的公开信息，使用人依然选择购买或使用利他性自动车，这种风险就是使用人同意的或主动选择的，他的意志自主性就并没有受到伤害。
利他性自动车的现实可行性以由利他性自动车构成的交通环境或其他人的利他性驾驶为前提。反之，若交通环境是混合的，利他性自动车、自利性自动车或不知是利他还是自利的人工车并存，或者说，交通环境中还存在不少邪恶的或并非无辜的驾驶者或路人（如横穿马路；其他驾驶者或路人有明显的、较大的让路余地与可能性而不让路，或只须遭受轻微伤害便可免使乘客横死）， 搭便车的难题就出现了，利他性自动车将成为别人的剥削性驾驶的对象，从而将彻底地丧失吸引力和市场。
（二）自利性自动车：扩展市场？
另一个支持自利性算法的重要理由是，自利性算法可以扩展自动车的市场。他们主张说，人们不会购买舍己为人式的利他性自动车；如果立法要求自动车的算法发出牺牲乘客的指令，这样的算法立法会阻碍甚至阻止自动车的发展, 从而导致与功利原则的追求相反的结果；发展自动车行业的愿景要求我们开发自利性算法，要求算法把风险转嫁给无辜第三人。这种说法是值得商榷的。人们会不会去购买利他性自动车，主要取决于对于乘客或使用人来说，自动车是不是要比传统的人工车更安全。首先，如果大家都选择利他性自动车，整个交通环境的安全性将会高于大家选择自利性自动车的情境。其次，我们先不考虑其他人是不是使用利他性自动车，让我们单纯地比较利他性自动车与传统的人工车。虽然我们还缺乏这方面的经验数据，但鉴于自动车的普及可以减少90%以上的交通事故，而很多的交通事故其实是由使用人过错导致的、伤害使用人自己的事故，我们有理由相信，即便是对于使用人来说，利他性自动车也比传统人工车要更安全。总之，如果大家了解利他性自动车与交通安全的真实关系，对利他性自动车会妨碍甚至阻止自动车行业发展的担忧便是多余的。
四、谁有权力来决定算法道德？
前面讨论的是实体问题，笔者认为应该用功利原则来指导自动车的算法道德的设计；如果自动车不得不在不同的撞击对象或方式之间做出选择，那么算法应该选择导致最小痛苦量的撞击方案；功利原则要求把自动车的算法设计成利他性的。现在我们来简单讨论决定自动车的算法道德的程序问题。
谁有权力来决定算法道德？ORI曾就此问题做过调研，结果是， 44%的人认为应该由乘客或使用者来决定：市场上应该存在具有不同的道德设定的自动车，包括自利性的或利他性的，由使用人来选择；或者，由使用者对可预见的一系列伦理难题来输入相关道德设定；或者，自动车应该设定一个由使用人来操作的伦理按钮。33%的人认为应该由立法者来决定，12%的人认为应该由制造商来决定。
较多的人选择由使用者来决定自动车的算法道德。对这种现象的一个大概的解释是，这种模式尊重了使用人的自主性。笔者对此不敢苟同，理由如下。
第一，这种模式未必真的尊重了使用人的自主性。使用人的伦理选择可以有两种形式。首先，如果是在购买时设置或预先设置，使用人便只有在设置时才是自主的，而在后来的行驶中将完全不再自主。其次，在驾驶的过程中根据情况来设置或选择或操作伦理按钮，这样的安排似乎又违反了自动车的初衷：它本来是要帮助人们的，是要让人们不必为驾驶操心，享受行路的安逸，甚至可以在车上无忧地睡大觉，不用担心疲劳驾驶、醉酒驾驶。若使用人有义务在紧急情形下操作伦理按钮，他们就不得不时刻警觉，关心路况。这样的自动车，又与现在的人工车有多大的实质性差别呢？另外，如Jason Millar所说，“要求使用者来对一系列可预见的伦理困境输入伦理设定，这对使用者来说构成了不可承受的压力。这也对制造商设定了巨大的负担：他们须要教会使用者自动车算法的一切相关特征，并寻求使用者的信息输入，以确保特定自动车未来的算法设定真的是以使用人的知情同意为基础的。” 这样的安排从而也增加了事故责任问题的复杂性，尤其是，它还很可能导致制造商利用自己的专业或市场优势来转嫁责任。
第二，自动车算法的道德设计决定了自动车在公共交通环境下的选择。这与人们对自身疾病的治疗方案的选择不一样，因为这样的选择具有高度的外部性，关系到公众的安全；所以，使用人的自主性在这里应该让位于公共安全的考量。此外，如果一些人选择了自利性自动车，前述的搭便车难题或剥削性驾驶的难题就会出现。
第三，这样的安排会导致协调与合作难题。如果不同的使用人选择了不同的算法道德，这些自动车碰到一起，相互之间又该如何协调呢？有人建议说，与利他性自动车不同，自利性自动车的使用人应该缴纳高额保险费，但这种建议并不会消除搭便车或剥削性驾驶的问题，毕竟在金钱和生命之间，人们会优先选择后者。这种自利性自动车承担高额保险费的建议，只会导致富人选择自利性自动车、穷人选择利他性自动车，这将进而构成富人对穷人的赤裸裸的剥削。
基于以上理由，笔者认为，正如交通规则有必要统一，在一个特定的共同体内，我们也需要一套统一的关于自动车算法道德的规范，这样的规范最好是由民主产生的立法者依照民主程序来决定的。本文的主要任务是要说服这些立法者，应该用功利原则来指导自动车的算法道德规范的设计；这样的规范应该确定，其一，如果自动车不得不在多个撞击对象或方式之间选择，选择导致最小痛苦量的撞击方案便是算法设计者的法律义务；其二，自动车的算法应该是利他性的。
（责任编辑：马长山）
（推送编辑：陈嘉瑞）
本文原载于《华东政法大学学报》2020年第6期。编辑部在线投稿系统已更新，欢迎学界同仁登录journal.ecupl.edu.cn惠赐大作！
推荐阅读