张凌寒：如何用算法解释权应对“算法暴政”？ | 前沿

中国民商法律网

本文选编自张凌寒：《商业自动化决策的算法解释权研究》，载《法律科学》2018年第3期。

【作者简介】张凌寒，东北师范大学副教授，北京航空航天大学博士后研究人员，法学博士。

全文共3275字，阅读时间约13分钟。

人工智能时代，自动化决策算法被广泛应用，但法律尚未配置相对人知情、质疑、救济的机制。这种不平衡提出了一系列亟待解决的问题：如何救济被不公正对待的自动决策的相对人？配置给相对人挑战算法决策并提供解释的权利是否具有正当性？这种权利的来源和内在价值是什么？如何构造这种权利，行使的限度和程序又应如何设计？为此，东北师范大学张凌寒副教授在《商业自动化决策的算法解释权研究》一文中，以算法解释权为起点展开，探讨建立自动化决策相对人的事后救济机制。

一、问题的提出：自动化决策广泛应用带来的“算法暴政”

算法根据大数据作出的打分、评价和推荐等称为自动化决策，它被广泛用于商业领域以提高客户点击率和交易利润率。但是由于历史数据的偏差，设计者嵌入的偏见，或者技术的不完善，算法经常做出错误的、歧视性的自动决策。然而，这种自动化决策的算法不公开、不接受质询，不提供解释、不进行救济，相对人无从知晓决策的原因，更遑论“改正”的机会，这种情况被学者称为“算法暴政”。

二、商业自动化决策情况下既有法律资源之不敷

现有法律资源面对自动化决策场景均有严重不足，适用场景与算法场景差异太大，效果并不符合算法解释问题的初衷，无法起到救济自动化决策的相对人的作用。

第一，合同效力制度不符合算法解释之场景。首先，合同效力制度相悖于算法解释之目的。合同效力制度目的是为非自愿同意的合同的后果提供救济，回到当事人未缔结契约前的权利状态；而算法解释的目的是使当事人知情以修正，而非退出合同回到原始权利状态。此外，也难以认定自动化决策存在意思表示瑕疵。合同效力制度的手段是认定合同的缔结违反意思自治原则，而意思表示瑕疵分析均不适用于自动化决策错误的场景。

第二，违约请求权无力救济自动化决策相对人。民事合同的违约请求权由于制度目的、程序与举证责任等因素，无法救济自动化决策的相对人。

第三，不利的自动化决策不满足侵权责任之构成。由于自动化决策并无适用特殊归责原则的情形，因此一般适用于过错责任原则。但此路径受到侵权责任的过错、损害因果关系等构成要件的多重限制。若要适用特殊的侵权责任路径，即向算法开发者主张产品责任，也会面临更多的困境：其一，难以将算法的法律地位定义为“产品”；其二，无从了解错误决策的原因，也就无从确定产品缺陷。

第四，消费者知情权无法提供真正的算法解释。相对人如主张消费者的知情权，算法的法律定位仍为企业的工具而非商品，并且算法使用者可主张算法属于商业秘密提出抗辩。

三、新的路径：配置独立的算法解释权

算法解释权是指，当自动化决策的具体决定对相对人有法律上或者经济上的显著影响时，相对人向算法使用人提出异议，要求提供对具体决策解释，并要求更新数据或更正错误的权利。

在商业自动化决策领域探讨算法解释权配置的必要性，无法绕开的问题是，一份基于意思自治而同意参与自动化决策的民事合同，为何要超越合同配置给一方相对人额外的权利？算法解释权配置的目的究竟是什么？

创制算法解释权目的为平衡二者之间的不平等，为相对人提供额外制度救济以达成实质平等。此论断可从两个方面获得论证：其一，自动化决策者和相对人的权力维度是财富和市场地位差距的附属物；其二，算法解释权的配置可有效衡平此种差距。另外，算法解释权的确立可为人工智能技术的未来发展预留一定的空间。

四、算法解释权的理论正当性

算法解释权并非心血来潮的创制，而具有传统权利的逻辑基础，是对现有的一方当事人权利畸轻的调适，目的是以新制度实现古老平等、自由、正义的目标。

(一)平等：算法解释权是信息不对称的矫正工具

人工智能时代的到来产生了新的不平等，而这种不平等更加隐蔽和严重——知识、信息获得和掌握的不平等。自动化决策事项上的信息不对称堪称“黑箱”。而算法解释可在商业化决策领域促进此种信息获取和掌握上的平等，其有助于信息从信息优势方向信息劣势方流动，而达到双方衡平。

(二)自由：算法解释权是意思自治的必然推论

用户意思自治下的“同意”必然包含着用户有理由期望在发生危害和错误时，企业以公正和负责任的态度做出回应，否则将无从基于信赖利益接受用户协议。

赋予用户要求自动化决策使用者事后解释的权利，是用户基于意思自治同意用户协议的应有之义。事后的算法解释，这是用户在基于信赖利益接受用户协议时，对企业所具有的合理期待，是合同意思自治必然衍生的权利，而且不可被事先解释所替代。

(三)正义：算法解释权是合同风险的合理分配

算法解释权能够有效地促使企业和用户之间的权利义务、以及基于自动化决策产生的风险负担趋于平等。其一，可以通过对算法决策的解释发现自动化决策作出的依据，从而让用户获得更新数据获得重新决策的机会，避免错误数据被多个算法反复使用。其二，若算法本身有歧视因素(如性别歧视或种族歧视)，则可通过算法解释充分避免在全社会带来更大范围的风险。

 五、算法解释权的内在构造

(一)算法解释权的权利主体：自动化决策使用者与相对人

算法解释权的主体应为认为受到自动化决策不利决策的相对人，负有义务者为自动化决策的使用者。

(二)算法解释权的解释标准：相关性与可理解性

出于救济的目的，解释的内容应符合两个标准：第一，具有相关性，即必须与相对人所受的具体自动化决策相关；第二，相对人能够理解。最终目的是证实自动化决策可资信赖在此原则上，除了可理解性和相关性，应针对不同的自动化决策内容制定不同的解释标准，而非“一刀切”，涉及人的权利越基本和重要，则解释内容的标准应该越高。

(三)算法解释权的双层结构：具体解释与更新解释

算法解释权具体内容应包括两个层次。第一层次为事后的具体解释，第二层次为事后更新解释。此外，还应对自动化决策者拒不提供解释或没有提供相对人满意的解释提供进一步协商和救济的选择。以上层次应为层层推进的关系，上一层次的解释完备后即排除下一层次的解释权利，以最大程度节约资源提高效率，减轻自动化决策使用人的负担。

1.事后的具体解释

第一层次为事后的具体解释。在符合相关性和可理解性标准的前提下包括两个层面：其一，解释与具体决策相关的系统功能；其二，解释具体决策的理由、原因、产生决策结果的个人数据。

2.事后的更新解释

相对人在知晓有关不利决策的原因后，有两种选择：其一为发现不利决策是由算法错误引起的，可以要求算法使用人对自动化决策进行修正；其二为发现不利决策是由于使用的数据造成的，要么可以更新数据(提供正确或删除错误数据)要求重新自动决策，要么可提出退出自动决策。

第一种情况下，如果相对人发现不利决策是由算法引起的，则可以要求算法使用人更新自动化决策的算法。以事后救济为目的的算法解释权，必然包含了使权利状态回复公平正义的事后更新的请求权。第二种情况下，算法是根据历史数据做出的，如果相对人发现算法使用的历史数据错误，应有权提供正确数据，或消除错误数据的不利影响，要求重新作出决策，或者退出自动化决策。

 六、结论：实现人工智能时代个案中的公平正义

算法解释权作为人工智能时代风险分配的方式和对算法权力的规制，具有不可替代的实践效用性。这种算法的问责制更能够确保有效地为造成的损害分配法律责任，对一个个具体受到自动化不利决策的个体来说，算法问责制可以彰显个案中的公平和正义。

推荐阅读

近期好文

责任编辑：郭咪萍、王嘉睿、袁玥

图片编辑：师文、李欣南、刘小铃、金今