陈禹衡 | 算法优化语境下自动驾驶汽车交通肇事的困境纾解

作者简介

陈禹衡，东南大学法学院刑法学博士研究生。

内容摘要:自动驾驶汽车的算法不断优化，但同时也出现了责任分配不明、道德争议困局、算法偏见风险等问题。自动驾驶汽车依赖于系统学习功能下的人机互动，并非适格的追责主体，而算法的介入程度则影响责任分配，生产者主要负有生产风险控制责任，但不负道德责任，使用者负有日常检查与风险制止责任。对于诸如隧道难题之类的道德争议难题，预先植入功利主义的道德算法会有“泛道德化”风险，而由功利主义演化出的罗尔斯算法在实际适用中也存在缺陷。相反，基于自我保护原则编译算法，能够实现全局最优的选择结果。人工智能系统中的算法偏见无法被根本消除，只能对先天算法偏见进行形式审查和实质审查，对后天算法偏见补充相关规范文件并且加入预警程序，避免负面影响。

关键词：算法；自动驾驶汽车；交通肇事；道德算法；算法偏见

DOI:10.19563/j.cnki.sdfx.2021.03.007

 人工智能技术发展迅速，而集中映射在社会生活领域的，就是自动驾驶汽车。随着各种类型、级别的自动驾驶汽车陆续推出，自动驾驶成了人类社会未来发展的重要方向。自动驾驶汽车的“大脑”是算法，而对于算法的规范空缺可能导致其肆意发展，进而转向技术进步和社会发展的反面，阻碍自动驾驶汽车的可持续发展。

在域外关于自动驾驶的相关规范文件中，2021年2月22日欧盟网络安全委员会ENISA（The European Union Agency for Cybersecurity）发布《自动驾驶中采用人工智能的安全挑战》（Cybersecurity Challenges in the Uptake Artificial Intelligence in Autonomous Driving）的报告，旨在就自动驾驶汽车所采用的人工智能技术相关的网络安全挑战提供见解。这份报告指出自动驾驶技术可能存在安全性问题，而其技术宗旨则是在有限的人工监督下运行，鉴于自动驾驶汽车的网络安全一般是通过算法系统的安全监督进行掌控，所以务必提高公众对人工智能算法潜在风险的认知。与之相对，我国有关自动驾驶汽车的规范文件也开始重视自动驾驶的安全问题。2017年7月20日国务院印发的《新一代人工智能发展规划的通知》（国发〔2017〕35号），提出制定促进人工智能发展的法律法规和伦理规范，重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定相关安全管理法规，为新技术的快速应用奠定法律基础。2020年2月10日国家发展改革委、中央网信办、科技部发布《智能汽车创新发展战略》（发改产业〔2020〕202号），提出要完善技术标准、加强数据安全监督管理，前者包括智能汽车中国标准体系的构建，后者包括建立覆盖智能汽车数据全生命周期的安全管理机制，明确相关主体的数据安全保护责任和具体要求。总之，在世界自动驾驶汽车发展的浪潮中，不仅要借助技术抢占发展先机，还要重视对技术安全性的监管，保障自动驾驶核心算法安全，通过算法优化纾解当下自动驾驶汽车交通肇事的算法困境。

一、自动驾驶汽车交通肇事的算法困局

通过对自动驾驶汽车交通肇事的数据建模进行综合分析，发现自动驾驶汽车的安全威胁可以分为两类：故意威胁和无意威胁。故意威胁是指恶意攻击，通过找寻人工智能算法的缺陷，攻击算法防护的防守薄弱之处，进而形成对自动驾驶汽车的整体侵害，甚至引发交通肇事。无意威胁是指因为人工智能算法的自身缺陷，如先天的设计问题或者后天的学习偏差，因而在算法系统内部引起了不可预测的故障或负面后果，如算法偏见、算法黑箱等。自动驾驶汽车的算法困局主要是无意威胁，但是容易导致诸如交通肇事责任划分的争议、自动驾驶汽车容易陷入道德困局、算法偏见诱发交通事故等一系列问题，影响自动驾驶乃至人工智能领域的整体安全格局。

（一）算法介入导致责任分配不明

伴随自动驾驶汽车诞生伊始，有关自动驾驶汽车交通肇事追责主体的确认就存在争议，进而演化出责任分配不明的问题。尤其是在人工智能算法发展迅速的技术背景下，人工智能系统借助算法优化的加持，其主体适格性被进一步增强，那么原始的责任分配格局可能被再一次打破。当自动驾驶从低层级的“人机共驾”模式转向高层级的“机器主导”模式，意味着对交通肇事主体的认定从驾驶人作为当然主体转向无法确定责任主体，那么自动驾驶交通肇事中如何确定追责主体范围成为重要问题。

域外通过“实验伦理学”的方法对自动驾驶算法与人类价值进行结合考察，得出自动驾驶汽车的决策主要由三个主体组成：一是政府，由政府决定自动驾驶汽车内置算法的编译程序类型；二是自动驾驶汽车的制造商，由制造商决定具体的算法编码；三是车主，由车主决定自动驾驶的车型以及对应的算法，并根据实际情况选择有合适自己的算法程序的自动驾驶车辆。

在这三个主体中，制造商和车主作为生产者和使用者在交通肇事事故中扮演了重要角色，也是主要的追责主体。而政府则扮演了事先的监管角色，通过规范文件和行业标准的制定来指导行业的整体发展，和具体交通肇事的联系较弱，不能被视为适格的追责主体。而在算法不断优化的背景下，算法加持下的人工智能系统能否成为刑事追责的“第三极”则成为当下的争议热点。因为算法的本质是以数学方式或者计算机代码反馈的意见，其运行过程中的程序设计、最终目的、判断标准、数据编采等选择都具有一定的主观性，而借助深度学习的算法，人工智能系统能够在“感知—思考—行动”机制下运行，通过数据训练而构建起来的决策逻辑，对环境感知和交互，并对自己的活动做出具体指令，而这使得人类对人工智能系统的控制能力下降。有学者据此判定人工智能系统具有行为主体性和刑罚感知能力，可以承担刑事责任。那么一旦人工智能系统作为追责主体介入，原有的刑事追责局面必然被打破，而如何确定具体的追责主体，抑或在不同责任主体间如何划分责任，都成为自动驾驶汽车刑事追责所必须面对的问题。

（二）算法固有缺陷导致适用争议

在Web3.0时代，算法技术的智能化特征不断显现，对于自动驾驶汽车的监管，本质上是对自动驾驶程序算法的监管，但囿于自动驾驶汽车算法程序的固有缺陷，则会导致自动驾驶汽车无法独立适应公共交通的行驶环境，甚至在处理复杂路况时发生交通肇事事故。当下人工智能系统算法使用的争议主要有以下两方面：

一是算法的机械性特征可能导致其在处理复杂问题时陷入道德困境，人性的缺失导致算法系统在处理极端的道德争议问题时无法得出合适的结论，而采用“冷冰冰”的量化后的利益衡量原则处理问题，则得出的结果不易为公众所接受。典型的道德争议问题就是传统社会视角下“隧道难题”（Tunnel Problem）在自动驾驶算法语境中如何选择，这是算法选择和道德选择在自动驾驶层面相互融合的取舍困境的典型冲突。“隧道难题”本身考验了自动驾驶汽车算法在车内乘客和路上行人之间发生利益冲突时的价值选择，而传统意义上过分要求驾驶人员进行自我牺牲的选择在算法语境下并不能完全被遵照。在自动驾驶汽车的场域内，在“救自己”还是“救他人”之间决定适用何种选择显然主要由自动驾驶汽车的人工智能系统决定，而决策的核心则是幕后的算法。有学者基于交通肇事事故中不同主体的法律地位，以自主性（autonomy）和一致性（solidarity）作为为功利主义道德辩护的理由，认为应该更多地进行道德选择，并且在算法程序中事先置入功利主义的道德算法。但是域外通过心理测试分析发现，在此类道德困境中，人们对人工智能系统和人类采用的道德评价标准并不相同。虽然总体上人们希望两者都采用功利主义取向行为，且相比于人类，人们对人工智能采用功利主义取向行为的期待和评价更高。但是当涉及自身利益时，人们对人工智能的这种功利主义偏好可能反转，倾向于他人购买功利主义取向的汽车而自己更愿意购买优先保护车内乘客（自我）的汽车，说明即便植入道德算法，也不能一劳永逸，相反会引发新的道德选择争议。除此以外，如若在自动驾驶的算法中，算法自我学习进步的特性可能导致其对道德的理解产生异化，甚至出现“泛道德化”的结果，而这将会严重损害公众对于自动驾驶汽车安全性的信任，为了避免自动驾驶汽车陷入道德困境，应该引导算法系统妥善处理道德争议问题。

二是自动驾驶算法所必须面对的算法偏见问题，分为先天算法偏见和后天算法偏见，两者都会导致人工智能系统在进行决策时做出不合理选择，而实践中已经出现此类交通肇事事故。先天算法偏见主要是自动驾驶系统算法在编译时和校正时存在纰漏所致。算法的编译是人机共生情景下既规制“人”又规制“机”的公因式，编译时的纰漏是程序员在编写算法程序时，有意或无意对某种情况做出了不合常理的编写，比如Google公司的图像识别算法中，就把黑人误识别为大猩猩，构成算法偏见。校正时的纰漏是人工智能系统在进行算法调适时，不断地对算法进行强化训练，而当训练所采用的机器学习模型本身存在偏见时，那么学习后的算法也会形成错误的逻辑进路，在面对危险情况时遵循错误的逻辑进路做出决策。比如2018年美国的Uber交通肇事案，就有研究人员在事后对于行人的图像数据进行采集，并使用菲茨帕特里克量表（Fitzpatrick scale）分析事故，发现了深色皮肤的人的检测率要比浅色皮肤的人低5个百分点，而本案中受害人正是黑人女性，那么这种算法学习校正时可能已经隐性存在的算法偏见，最终导致了交通事故。后天算法偏见，则是人工智能汽车在日常行驶过程中，因为当事人的指令或者系统自身处理交通状况时的经验，通过自主学习产生的算法偏见，是在自动驾驶汽车出厂以后在特定的使用环境下形成的。有鉴于此，如何克服人工智能汽车算法中固有的算法偏见缺陷，尽可能地消除算法偏见所带来的不利影响，关系到自动驾驶汽车的安全程度，需要从技术标准、行业规范等多方面着手加以克服。

二、依据算法介入的程度判断责任划分

自动驾驶汽车在确定追责主体上的争议，是因为算法不断优化导致人工智能的主体性不断增强，在人机交互的过程中扮演愈发重要的角色，而人工智能的特殊性改变了传统交通肇事的责任分配格局，算法指导下的人工智能系统对责任乃至生命安全的分配成为需要重新探讨的议题。伴随人工智能系统借助算法优化增加其在交通行驶过程中的话语权重，那么对于适格责任主体的判断必须将人工智能系统考虑在内，并从算法的本质特征入手进行分析。借助对算法内涵的分析，发掘算法对于人工智能系统的加持程度，从而判断是否需要新增适格的责任主体，以及对原有的责任分配体系造成何种影响。

（一）人工智能主体的适格性判断

关于自动驾驶汽车交通肇事的责任主体不明的争议，是因为自动驾驶汽车借助算法技术不断进步所致，当下的自动驾驶汽车已经从Level2层级向更加智能化的Level5层级发展，特斯拉总裁马斯克甚至宣称在2021年年内量产达到Level5级别的自动驾驶汽车，但这同时也引发了对自动驾驶追责主体判断上的“摇摆”。传统的交通肇事中约95％的交通事故与驾驶员的操作失误有关，而在人工智能驾驶汽车使用后，算法的介入增加了责任主体判断的复杂性。传统观点认为依然应该限于传统刑法所可能规制的主体，包括驾驶人、汽车所有人、汽车生产商的相关人员、自动驾驶控制程序的开发人员、向自动驾驶汽车提供数据的人员、国家及地方公共团体的相关人员等。但是这一观点显然忽视了人工智能主体性日益进步的客观现实，也不符合未来人工智能的发展趋势。

对于人工智能系统在交通肇事中所扮演的角色，理论界对此有诸多争议。主体肯定说认为在自动驾驶占据高度主导性的背景下，传统人类驾驶员角色已经逐渐式微，尤其是在强人工智能不断发展的背景下，承认强人工智能具有刑事责任主体地位具有合理性，并且具备法益侵害的可能性。德国学者希尔根多夫则提出将人工智能类比于法人团体，承认其基于程序而进行“意思控制”的动作表述，并藉此承认人工智能可以承担刑事责任。更有甚者认为，自主意识可以从程序员编写的神经细胞类代码以及由电学元件组成的模拟神经元中产生并传导至人工智能，所以人工智能就是人在虚拟空间的映射，而算法就是人工智能的“大脑”。对于主体肯定说的理论支撑，一是认为自动驾驶汽车具有的开放性，因为法律主体只是用以构建法律关系的一种构成性的法律工具，那么确立非人类主体法律地位也具有可行性。二是认为自动驾驶汽车具有的算法“大脑”，能够为自动驾驶汽车的正常行驶提供决策，尤其是层级较高的Level5级汽车，具有了拟人化的技术能力，这种拟人化的能力超出了传统技术手段的实施范畴，具有极强的思维逻辑。有鉴于此，在技术进步的背景下，Level4—Level5层级的自动驾驶汽车有望彻底取代“驾驶人”成为唯一的责任主体，甚至需要因此在立法基础层面确立人工智能汽车的工具性人格，并以此为中心进行对应的规范设计，将现有人工智能机器人的规制和责任制度进行关联考虑。

与之相对，主体否定说认为，法律责任的主体（法律上的人）确立就必须是权利和义务的主体，而人工智能系统的义务与权利的自始分离使之根本无从获取法律人格。虽然人工智能的终极目标在于使得机器像人一样思考并获得独立自主学习的能力，但其行为不论是预先设定还是自主运行，都欠缺法规范遵从能力的意志性，即便在客观上造成法益侵害后果，也不具有刑法上的可追责性。对于主体否定说的理论支撑，一是人工智能系统不具有刑法上的辨认和控制能力；二是人工智能系统不具有刑罚适应能力，现有框架下讨论的“人工智能刑罚”的惩罚效果和救济效果存疑，刑罚的剥夺性痛苦无法发挥效用；三是人工智能系统的求刑权欠缺，在诉讼成本上成本过高且司法实践中取证困难。

总之，主体否定说认为强行将人工智能系统拔高为法律责任主体，是人工智能研究反智化的体现，违背了刑法基本理论乃至法理常识，将其作为独立的犯罪主体进行刑事追责也并不符合社会现实状况。相反会有扩大刑法规制范围、损害刑法谦抑性之虞，偏离了传统犯罪论和刑罚论的基本理念，不能为自动驾驶汽车的交通肇事的刑事归责提供解决思路。

综合来看，本文坚持主体否定说的观点，认为虽然当下的人工智能汽车快速发展，但是主体否定说仍然更符合自动驾驶汽车技术发展的实际情况。核心原因在于当前的自动驾驶汽车的技术特征意味着其不具有完全的人格主体性，人工智能算法仍然处于弱人工智能爬坡的阶段，汽车所具有的机器能动性无法代替人类能动性。而人工智能行驶行为本质上仍然依赖系统学习功能下的人机互动，其表现出的辨认和控制能力是算法程序运算后赋予的，属于机械认知而非自由意志的体现。鉴于承担刑事责任的前提是具有认识能力和意志能力，要求具备完全的心智，即辨认能力和控制能力，人工智能汽车虽然具有很强的智能性特征，却只局限于某一领域内的自律能力，与完全刑事责任能力的本质不符。有鉴于此，自动驾驶汽车中人工智能的算法特征，更多地表现为对其他类型主体刑事责任分配的影响，应该基于算法介入程度来判断不同主体在交通肇事中承担责任的限度，将人工智能的算法主体性用于解释其他类型主体承担责任限度的划分，而非将其独立解释为一种主体类型。

（二）生产者与使用者的责任划分

鉴于当下的人工智能系统并不适宜作为自动驾驶汽车交通肇事的追责主体，那么对追责主体的探讨就重新回到生产者和使用者的比较，而由于算法对自动驾驶汽车的控制程度逐渐增加，算法介入程度对责任划分的影响也日趋增强。之所以采用算法介入程度作为划分责任承担的依据：一是因为算法作为自动驾驶汽车的程序核心决定了自动驾驶汽车的实际运行方式，对于算法的编译、学习、训练、应用和交通肇事的归责直接相关，而其中编译、学习和生产者有直接联系，训练、应用和使用者有直接联系，所以需要将算法作为划分责任承担的依据。二是因为算法作为自动驾驶的介入程度关系到自动驾驶汽车的智能程度，算法的介入程度高，则自动驾驶汽车更“智能”。此时交通肇事的风险归责被前置化，使用者因为算法的高度介入而对汽车的掌控性降低，人机交互的力度在下降，算法此时具有自我执行的属性，以代码化的行为标准主动保障其所认定的算法正义，所以使用者承担的责任也在削弱。相反，归责前置后生产者可能因为算法的介入程度增加而在编译、学习环节承担更多责任，但是此时对生产者的归责也需要谨慎判断，否则会增加生产者在算法程序的开发环节的压力，导致行业发展停滞。

总之，以算法介入程度作为责任划分依据，体现了算法在整个人工智能系统中扮演的重要角色，符合人工智能系统的历史发展潮流，虽然其当下无法作为适格的责任主体，但是在未来具有承担更多责任的可能性。

1.生产者的责任划分

对于生产者，其制定并编译了自动驾驶汽车的算法程序并对算法进行测试，所以具备一定的事故处理“前瞻能力”，其所承担的注意义务也与传统过失犯罪所要求的当场性、即时性注意义务不同，生产者具有的生产风险控制义务是先期的、前瞻性的，如果在自动驾驶汽车的生产阶段就违反了这种注意义务，则对于交通肇事可以成立相应过失犯罪。这里的生产阶段，不仅包括算法程序的编译阶段，还包括算法的软件和车辆的硬件的衔接阶段，如果匹配不适格，也构成对注意义务的违反，同时也因创设风险而需要承担责任。

有学者认为生产者不应该对一般的交通肇事承担责任，而是仅对将存在安全隐患的自动驾驶汽车强行推入市场或者未召回存在安全隐患的汽车的情况承担责任。这一观点的论据有二：第一，其认为注意义务不是抽象的而是具体的，生产者并不能预见到自动驾驶期间可能出现的各种意外，因此发生交通事故也不能追究生产者的过失犯罪责任，否则无异于承认严格责任。第二，如若根据抽象判断来认定过失，会扩大过失行为的认定范畴，导致无论行为与结果之间的联系多么间接，行为人对具体结果能否预见都可能成立过失，反而违反责任主义。

本文对此持反对的态度：一是对于自动驾驶汽车而言，在交通肇事中适用严格责任实际上符合自动驾驶车辆的技术指标要求，对自动驾驶汽车适用严格责任制度，不是因为自动驾驶汽车具有“异常危险”或“不合理风险”，相反恰恰是因为生产者制造的自动驾驶汽车所具有的危险或者风险水平相对较低，远低于传统的人类司机的驾驶风险。因此在交通肇事中，严格技术指标要求下的自动驾驶汽车很难在司法实践中被认定为具有过失，而为了保护使用者利益，则适用严格责任制度对生产者追责。

二是有学者提出“刑事责任是面向人的惩罚措施，所以不能直接联系到系统责任（此处即人工智能系统）”的观点，实际上并不能成立。此处对于责任的追究是延伸至算法系统背后的生产厂家，并未局限于人工智能系统本身，算法指导下的人工智能系统已经被排除出适格的法律责任主体，因此更要追究其背后生产者的责任，而非让责任“凭空消失”。

三是“无论行为与结果之间的联系多么间接都能成立过失”的论断忽略了算法的技术的介入。对于生产者而言，只有算法程序在整个交通肇事过失中扮演重要角色时，其才能被判断为行为和结果间具有联系，算法的介入程度本身就是重要的衡量指标，因而以此为参照标准，并无违背责任主义之虞。

总之，将自动驾驶汽车的生产者界定为交通肇事责任的优势风险承担者，有助于实现受害人的损害救济、风险的合理化分配以及社会研发成本的最小化。

2.使用者的责任划分

对应生产者被赋予的生产风险控制的义务，使用者具有日常检查与风险制止的义务。日常检查义务包括隐患排除和定期养护，隐患排除要求使用者在算法自动报错时对算法错误进行上报，并联系生产者进行算法校正和维修，定期养护则要求使用者参照汽车的使用说明或智能系统的维护提醒而进行维护，而使用者在被赋予此义务前，应该由生产者正确、全面和明确地向使用者说明关于自动驾驶汽车算法系统本身的自动化程度、性能以及使用限制信息。

与之相对，风险制止义务则对使用者提出了更高标准的责任要求，前置的风险制止义务要求使用者遵循自动驾驶汽车的操作流程进行合理使用，不得对人工智能系统的输入信息进行违规修改或删除，不得干扰传感器的路况信息采集，亦不可对自动系统元器件进行非法改装。而后置的风险制止义务则要求使用者在行驶过程中，对车辆算法脱离控制或者处于不良状态下时，对自动驾驶车辆进行强制接管，实现人机交互的重置，如2017年德国《道路交通法》（StVG）中，就规定了使用者的权利和义务，其中包括在危机时刻对车辆的接管，而根据实验分析发现，使用者在行驶过程中的注意度越高，则对危险感知越及时，提早接管可以有效减少事故损害后果。但是，使用者坐在自动驾驶汽车上时，对于车辆正常运行的监管和交通肇事事故的风险制止，本身就因为自动驾驶汽车算法程序的先进性程度不同而有所区别，必然不能将不同层级的自动化汽车混为一谈。当算法程序的介入程度越高，使用者就自动驾驶功能进行正确操作与使用的义务、必要时立即接管汽车的义务以及车辆运行时警觉的义务都会降低，生产商应该就高层级的自动驾驶汽车的风险进行事先告知，让使用者保持事先警惕，则使用者对应承担的责任就越低。

除此以外，有学者依据费希尔的道德责任理论，认为人与其他生物的一项重要不同在于人能为他们所做的事情负道德责任。自动驾驶汽车的使用者因不从事驾驶活动，不能满足引导性控制的个人从事和自由进行的两重要件，所以不被赋予引导性控制责任。但是自动驾驶汽车是被监管的、顺从的、能够遵循复杂规则的主体，使用者能够对其进行管制性控制，所以仍然要为自动驾驶汽车引发的事故承担相应的道德责任。本文认为这一观点并不能成立，因为算法的介入，算法指引下的人工智能系统取代人指引自动驾驶汽车的行驶，算法的控制力和影响力“稀释”了人的主观性对自动驾驶汽车的影响，很多交通事故中，人已经很难像传统司机一样对汽车进行监管，遑论管制性控制。算法介入的程度越高，使用者的管制性控制责任就越弱，这种人为增加的道德责任只会无端地增加使用者的负罪感而忽视真正的因果追责，实际上真正的因果追责趋向应该是算法背后的生产者。

总之，对于责任的具体划分，算法程序的介入程度实际上和生产者对应的责任相挂钩，继而影响了使用者承担责任的份额。即便是人工智能系统通过自我学习而做出决策乃至改写算法本体，也不能被视为“生产者难以预料和控制的被允许的危险，阻却其注意义务”。原因在于，算法自我学习产生的决策仍然是生产者编译算法时存在的固有缺陷所致，而改写程序本体，更可以被视为生产者监管不严，对算法程序安全后门的设置存在纰漏，因此需要承担责任。算法的介入程度可以在使用者和生产者的责任分配中扮演衡量角色，算法介入程度越高，那么生产商对应的责任越高，而使用者对应的责任越低。自动驾驶汽车具有的算法决策优势，就是为了解放个人在道路交通中的精神压力，那么生产厂商设计算法程序时的压力也就来源于此，不能放任责任后置，给使用者赋予本不应该承担的因果责任，更不能给使用者平白增加道德责任压力，使用者在这种语境下更应该被视为算法的处理元素而存在。

人工智能算法所具有的不可预测性等隐性缺陷是生产者编译算法所要改良的重点，而算法作为一种“技术中介（Technological Mediation）”，生产者则有责任和义务来设计出好的算法，让算法的中介调节性发挥积极的正面作用，虽然人工智能系统无法作为责任承担者，但是算法的生产者却能够作为实质上的责任承担者。

三、借助算法优化破解现有的适用争议

在算法优化的背景下，自动驾驶汽车的算法程序编译过程被不断优化，但是在此过程中，囿于算法所固有的缺陷，自动驾驶汽车的算法在处理具体问题时仍然面临一些问题。其一是算法在处理道德逻辑上的争议难题时，量化处理衡量的原则难以解决可能存在的道德争议；其二是算法偏见的存在，导致自动驾驶汽车存在误判的风险，甚至会因此触发交通事故。因此需要从基础原则到具体规范加以完善，为算法优化提供良好的制度支撑。

（一）参照自我保护原则破解道德争议

当自动驾驶汽车算法面临道德争议时，最关键的问题并不是自动驾驶汽车是否有“道德”，而是预先设置的程序算法的伦理和逻辑如何处理现实中的道德争议难题，所以需要从算法程序解决问题的逻辑进路入手，分析算法是如何解读、分化、处理传统社会视域下的道德争议难题，并选择合适的解决方案。

1.当下道德算法的观点评析

在面对道德争议难题时，很多学者提出应该借助算法程序的量化处理方式，在算法中预先嵌入道德算法，将人类社会的伦理准则以量化数据的方式内置入算法，促使算法成为承载“道德代码”的程序载体，将道德理念“物化”后实现算法技术的道德化。造成这一选择的核心原因在于自动驾驶汽车中只有乘客而没有驾驶者，因此动态驾驶行为就需要交由道德算法来控制，尤其是在涉及不可避免的生命损失的碰撞中，由道德算法来决定到底牺牲哪一方显得更加合理。

当下道德算法的理论基础是功利主义，其所追求的是最大多数人的最大幸福，通过效用计算，可以牺牲使用者的生命以拯救更多人的生命，这是效用最大化的途径，在隧道难题中，采用功利主义的道德算法，就是选择更多人的生命作为保护对象。在此基础上，德里克·里本（Derek Leben）基于罗尔斯的“最大化最小值原则”，将功利主义的道德算法更进一步演进成为罗尔斯算法，其不通过舍弃少数一方达到生存最大化，而是通过最大化弱势群体的收益推动博弈双方达成最优态势。

在隧道难题的生存困境中，使用者和行人之间就自动驾驶汽车的可选操作（转弯、直行等）构成一个效用函数，罗尔斯算法首先对事故中的各个主体进行赋值，为功利的权衡判断奠定基础；其次是对赋值后的选择对应的价值收益进行集中权衡，选择出事故主体存活概率的最低收益集合（最小值）；最后经过循环穷举，筛选出将最低收益最大化的操作，若多种操作收益相同，则使用随机数决定最终操作。采用功利主义基础上的罗尔斯算法，能够最大化使用者与行人的生存率且努力达成两者间的合作共生，能在最大程度上消除使用者对自动驾驶集体算法安全性的担忧。与利己主义的自我保护原则相比，罗尔斯算法采取了“无知之幕”中将原初状态的主体收益最大化的框架，并且根据情境的差异调动规则，避免了纯粹利己主义原则降低社会总体生存率的后果。

对于基于功利主义的道德算法，虽然在理论上进行了诸多研究，但是在实际使用中，苛责自动驾驶汽车在面对交通肇事时，做出连正常公民都不一定能够实现的道德选择，并不一定具有可能性。

一是，对于道德算法本身，采用量化的指标来描述公民的道德情感并不具有可行性；对于个人生命而言，康德的义务论原则认为人是目的而不是工具，个人的生命是不存在差别的，不能简单认为数个行人的生命就比使用者的生命更重要，所以生命不同于一般意义上可以牺牲的法益而能被量化。既然生命无法被量化，那么就无法将车上人的生命和隧道中人的生命进行量化衡量，更无法量化为道德算法进行程序内嵌。

二是，道德算法的内涵较为复杂，考虑到道德的多元化，如何将道德内涵转化为算法本身就存在难度，诸如自治（autonomy）、社群（community）、身份（identity）、价值（value）及移情（empathy）等多个层面的道德因素都难以被评价衡量，也无法估量其权重。对于道德元素的功利主义衡量实际上可行性较低，边沁就曾指出进行精确的功利计算的困难，诸如恶意伤害在强度和持续性方面确实是未知的、不确定的和遥远的，所以难以进行衡量计算。此外，自动驾驶汽车是动态而非静态，当汽车从A地移动到B地时，AB两地的道德不同，那么当道德出现冲突时道德算法如何选择，说明道德算法的内嵌并不可行。

三是，对于购买自动驾驶汽车的使用者而言，其购买的目的在于自动驾驶汽车的低事故率，保障自身安全是使用者所看重的第一要义，大部分人在购买自动驾驶汽车时，都会倾向于购买基于自我保护算法的车。由此可见，如果要求自动驾驶汽车加入道德算法，只会违背自动驾驶汽车的使用需求，阻碍自动驾驶汽车的发展。

四是，在置入道德算法后，人工智能系统无法限制算法的自我学习，那么道德算法作为人类情感的投射，加速了人工智能的“近人性”发展，会倾向于将自我识别为“人”的一种，并倾向于用意图或者感情去解释自身“行为”，产生“泛道德化”倾向。那么采用道德算法的汽车在面对道德争议时，如果因为“泛道德化”而脱离系统控制，甚至可能出现牺牲使用者而保全车体自身的情形，那此时使用者拒绝“被牺牲”而强行接管自动驾驶车辆，属于正当防卫抑或紧急避险？不管如何，使用者的责任无疑被道德算法强行绑定并扩张。所以如若道德算法出现“泛道德化”，那么将难以为生产者或使用者所掌控，也无法预测自动驾驶系统的选择走向。质言之，如果交通事故不可避免，那么多数人不愿将选择权交由机器，“泛道德化”的决策将加剧公众的不信任，甚至可能导致公众抵制自动驾驶汽车。

2.自我保护原则的具体适用

鉴于道德算法的个人伦理设定（personal ethics setting）存在明显的道德缺陷，以至于自动驾驶的道德算法，最终只能是强制性的伦理设定（mandatory ethics setting）。而有学者则据此反对在自动驾驶中植入道德算法，应基于自我保护原则的优先适用来指引人工智能程序的运行，坚持自动驾驶汽车的使用者受到优先保护，算法不应当为避免碰撞而选择人数更少的对象，而在只付出合理代价就可以带来更大社会善的情形下，算法也可以对使用者施加可允许的伤害。有鉴于此，当自动驾驶汽车面对隧道难题时，与其期冀算法通过预设的道德伦理立场来进行判断和取舍，不如直接在算法中强化其自我保护原则，自我保护原则是伦理利己主义观念在自动驾驶算法中的直接体现。

对于自动驾驶汽车而言，采用道德算法并不具有可行性，相反，强化自我保护原则反而具有最大的适用可行性，并能够促进自动驾驶汽车算法的不断优化。有学者尝试在自动驾驶汽车中编入具体的算法规则，即“对违反交通规则的道路交通参与者不利，对有其他违规行为的道路交通参与者不利，优先保护自动驾驶汽车内部的乘客，优先保护非自动驾驶汽车乘客”，而这一规则本身就是自我保护原则的具体体现。对于自我保护原则的具体设定，本文认为应该基于算法的框架下进行调试，优化其适用路径。

第一是将自我保护原则作为逻辑进路用以指导自动驾驶汽车在面对隧道难题等争议选择的优先选择路径，这种内置的保护原则能够帮助使用者在无法瞬时做出选择时保护自身的安全，将使用者的利益作为算法程序的最优先选择。

第二是区分全局最优和局部最优，在算法框架下，对于选择的最终结果需要考虑全局最优和局部最优。全局最优是使用者和行人都在隧道难题中获得最优结果，而局部最优则是仅使用者或者行人获得最优结果，但是会牺牲另一方利益，适用自我保护原则也应该追求全局最优的结果，也就是使用者可以承受“可允许的伤害”。这和功利主义的道德算法的区别是其可被允许的限度远低于功利主义的完全衡量的限度，可允许的伤害不可能涉及对使用者生命安全的衡量。

第三是自我保护原则的使用也要遵从使用者的自身意志，在算法程序框架内，可以由使用者自己预先调整惩罚系数（penalty term），比如使用者的安全系数X1和行人的安全系数X2，当使用者自愿降低自身的安全系数X1时，自我保护原则在程序中应该体现为对X2的上升，也就是对行人的保护力度较大，对自我保护原则的权重衡量进行调整。但是，这里的算法应该基于自我保护原则设置X1的底线系数，否则容易由自我保护原则滑向功利主义的道德算法。

综合来看，在自动驾驶汽车的算法程序中强调自我保护原则，理论基础是利己主义，但是利己主义并不是禁止帮助别人，而是在对使用者产生较小威胁时才可以损失自己的利益，保护行人的利益处于第二选择。采用自我保护原则，一是能够最大程度保障使用者安全，实现自动驾驶汽车的目的追求，提升自动驾驶汽车的安全性；二是能够简化算法程序，避免程序过于复杂出现冲突，降低算力损耗；三是自我保护原则具有较强的普适性，不易落入逻辑陷阱，即使在复杂的交通肇事场景下，自我保护原则也能化繁就简，谋求最大程度地保护使用者的安全，避免道德算法所可能陷入的道德争议困境。

实际上，人工智能算法所具有的自主学习特征会促使其不断演进，即便是生产者如公众所愿，为自动驾驶汽车设计伦理规范并内置道德算法，也可能在实际运行过程中逐渐异化。对于自动驾驶汽车而言，承认或部分承认了机器具有道德属性，妄图通过机器能动性（machine agency）替代人类能动性（human agency），只会扰乱交通肇事的道德责任边界。因此，在尊重各方利益主体诉求的基础上，采用更加稳妥的自我保护原则来处理此类“隧道难题”的道德争议，反而能够以最小的使用成本实现对各方利益的衡量和维护。

（二）针对算法偏见优化程序编译过程

自动驾驶汽车的核心是算法（Algorithm），由人类为完成某项任务而在设计软件时嵌入的数字化流程或者规则。由于人工智能和大数据技术的发展，越来越多的算法决策被用于处理复杂的任务，提升系统处理效率。而自从算法诞生伊始，有关算法偏见的争议就一直存在，在自动驾驶汽车的发展过程中，算法偏见不仅从一开始就隐藏在人工智能系统中（先天算法偏见），并且因为人工智能具有的自我学习特性（后天算法偏见），而有日趋严重之势。实际上，当下的技术手段无法完全消除算法偏见，只能在全面地审视“偏见”和“公平”内涵的基础上，借助优化编译程序矫正与遏制算法偏见，实现对算法“尽力避免错误和偏见”的工具性治理目标。

1.针对先天算法偏见做到严格审查

治理先天算法偏见，首先需要明确自动驾驶算法编译的初始目标，是借助算法程序指导人工智能系统的运行，因此需要在保障算法使用效率的基础上对算法进行严格审查。在算法治理的框架内，“算法即规则，规则即统治”，先天性的算法偏见本身就是社会治理过程中固有偏见在算法中的集中“映射”。当算法在设计学习模型时的无偏差校正实验环节出现疏漏，或者对真实分析的数据处理出现偏差，导致漏报、瞒报数据，数据本身无法维持正态分布，那么就会最终体现为先天算法偏见且难以被发现，甚至在学习模型的训练后呈指数级放大。除此以外，算法设计者本身的价值观念也可能被带入学习模型构建和程序代码编译的过程。总之，为了消除先天算法偏见，需要秉持从形式审查到实质审查的模式，对算法的原始代码进行严格审查。

第一，算法的形式审查需要对算法的编译方式、算法的运行逻辑、算法的数据采用、算法的学习模型进行审查。对于算法的编译方式进行审查，意味着自动驾驶系统的算法编译方式要符合当下的数据运行机理，按照正常的算法运转模式，设置算法在面对交通肇事时的数据处理顺序，并提供通畅的解决模式输出通道，最大程度地发挥算法的算力，避免出现重复计算等无端消耗算力的行为。对于算法的运行逻辑进行审查，要求运行逻辑在法律框架内进行，将道路交通安全法等规范文件，以量化的方式置入算法程序中。比如日本在2016年发布的《自动驾驶系统的道路实证测试指南》中，规定了智能汽车公路测试中驾驶员职责、车辆条件、事故预防和应对等内容，这些规范内容都应该以程序代码的形式内置于自动驾驶汽车的算法中，用算法处理交通肇事难题。对于算法的数据采用进行审查，是避免算法采用的数据存在倾向性，或者用于校正实验的数据不够全面，导致算法处理问题的逻辑进路存在偏差。数据采用在构建和验证人工智能系统中发挥重要作用，其关系到评估系统和测试模型安全性和稳定性，应该尽可能避免出现未预期的算法运行结果，对采用数据进行严格的标准化审查，并以规范文件的形式加以规定。对于算法的学习模型进行审查，需要采用可信的国家标准或行业标准制定出的学习模型，才能有效地测试自动驾驶的算法程序，避免关键组块的缺失。比如在学习模型中加入“风险—效用测试（Risk-utility Test）”模块，可以检测自动驾驶汽车可能存在的产品风险缺陷，最大程度地保障自动驾驶汽车的运行安全。

第二，算法的实质审查主要是审查可能隐藏的算法偏见风险，要求自动驾驶的算法运行结果符合相关规范的预期目的。其一是展开道德审查，虽然在自动驾驶的程序算法中内嵌入道德算法容易造成人工智能系统“泛道德化”，存在对人身安全的威胁，但这并不代表在算法实质审查环节使用道德审查也会存在这一风险。通过道德审查，主要是防止编译人员自身的道德取向被有意或无意地编入程序算法中，因为这种编入方式具有较高的隐蔽性，容易导致算法在日后的运行中因为算法偏见而导致交通事故，所以应该基于社会的公序良俗对算法进行道德审查，将道德原则内化于技术评判规则中，而非简单地植入道德代码。其二是进行衔接审查，也就是对软件系统中的算法程序和车辆硬件系统的适配进行审查，通过调试测验算法和硬件的匹配程度，防止自动驾驶汽车的算法代码无法用于指导车辆的硬件而导致交通事故。如特斯拉就曾出现因为算法程序编译问题导致刹车系统抱死引发交通事故，这是因为特斯拉的电子控制单元（ECU）大多来自不同的第三方供应商，如果没有进行良好的算法衔接调适，则会在集成后出现使用风险，因此需要对硬件和软件进行系统性的衔接审查。其三是进行安全检查，对于自动驾驶系统中的算法程序，除了正常的运行程序外，一般会内置安全程序，以防止自动驾驶系统产生算法偏见或者程序运行错误，日本《自动驾驶系统的道路实证测试指南》中则规定生产者要保证控制系统及传感器必须有算力冗余，保障系统安全。安全程序作为人工智能驾驶的最终“安全阀门”，在自动驾驶的安全运行中扮演重要角色，因此要将自动驾驶预期功能安全（SOTIF）接受准则以量化的方式置入程序算法中，建立可控的安全度量指标体系。

2.针对后天算法偏见做到事先预防

对于自动驾驶系统的后天算法偏见，有学者认为包括学习性偏见和外源性偏见，而这两者都是自动驾驶汽车在具体使用过程中逐渐产生的算法偏见，在本质上具有共性，都是因为受公共资源配置、道路交通运行以及社会主流价值观的影响而产生的算法偏见。而对于后天算法偏见的产生，鉴于偏见本身是一种“未经仔细审查并考虑事实就仓促作出的不成熟的判断，是缺乏自明性论证的因素”，所以妄图彻底消除显然不够现实，而采用事先预防则更符合自动驾驶汽车行业发展的实际状况。

第一，对于后天算法偏见的事先预防，应该在算法程序中预留补充规范文件的端口，并且及时将最新的规范文件置入。比如在联合国汽车技术法规UN/ECER.79.5.1.6.1中规定，当车速超过10公里/小时，汽车的自动转向功能就应当被自动禁用，该规定就对自动驾驶汽车中自动转向系统上的变道辅助和车道保持辅助功能进行限制，所以应该以程序代码的形式输入算法程序中，保证自动驾驶汽车在运行过程中遵循这一规定。为算法程序预留补充规范文件的端口，可以实现自动驾驶汽车在运行过程中的不断学习，避免陷入“封闭—落后—事故—封闭”的循环怪圈，将算法的自我学习技能用于正向的校正学习，避免因为缺失对最新规范文件的认知而导致算法偏见。

第二，对于后天算法偏见的事先预防，应该在算法程序中加入事先预警程序，实时监管自动驾驶算法程序并事先预警。自动驾驶汽车需要定期对运行过程中的数据进行复核和检查，对于违规运行数据进行剔除并警戒，避免人工智能的自我学习系统因为错误的学习来源而走向正常运行的反面，实现对算法程序的正向引导，消除后天算法偏见的来源。在美国交通运输部（DOT）发布的《联邦自动驾驶汽车政策》（Federal Automated Vehicles Policy）中，其第三部分与第四部分均强调了“监管工具”，并配合《自动驾驶汽车法案》（Self Drive Act），联合构建了自动驾驶汽车监管的基本框架。有鉴于此，对于后天算法偏见，加强监管主要是对驾驶数据的筛选和监管，对于算法系统中可能出现的负面趋向，应该由监管系统提前预警，预警自动驾驶汽车的使用者进入接管状态或校正汽车运行行程。除此以外，预防后天算法偏见还需要设计一定的冗余时间使得自动驾驶系统能够有效应对，在监管和预警程序生效后，自动驾驶系统在反馈后做出应对需要时间。

四、结语：算法促进自动驾驶汽车发展

自动驾驶汽车技术高速发展，而在复杂的技术背后，人工智能系统、生产者、使用者之间的关系在算法框架内被不断重塑且日趋复杂，导致对于算法的优化和规制陷入难以预见的境地。有鉴于此，为了化解自动驾驶汽车算法可能产生的风险，一方面，需要依赖技术进步，通过自动驾驶汽车算法技术的不断优化来解决现有的争议和困难；另一方面，需要通过相应的制度选择和法律创设来纾解困局，通过完善算法对应的规范制度，完善自动驾驶汽车系统集成的产业链，促进自动驾驶汽车进一步发展。

（责任编辑：王俊）

本文刊于《苏州大学学报（法学版）》2021年第3期，第60—73页。为阅读方便，此处删去原文注释，如有媒体或其他机构转载，请注明文章出处。

苏州大学学报微信公众号矩阵 

苏州大学学报

哲社版

苏州大学学报

教科版

苏州大学学报

法学版