机器学习中的可解释性（读书笔记三）

编者按

2021年，全球范围内对于人工智能的监管已经开始从理论探讨走向实际的立法和执法阶段，标志性的事件就是欧盟提出了《欧洲议会和理事会关于制定人工智能统一规则（《人工智能法》）和修正某些欧盟立法的条例》的提案，以及我国国家互联网信息办公室发布的《互联网信息服务算法推荐管理规定》。

关于人工智能安全和监管，本公号发布过以下文章：

今天和大家分享的是读书笔记系列之三。

人工智能（AI）中的可理解性，也经常被称为可解释性，指的是关于如何理解机器学习系统的决定，以及如何设计其决定易于理解，或可解释的系统的相关研究。这样一来，人类操作者可以确保系统按预期工作，并得到对意外行为的解释。

在自动化决策领域中，现代机器学习系统越来越盛行，其具体应用横跨私人和公共领域。随着这一趋势的持续，机器学习系统在部署时，人类的监督越来越有限，包括在其决策可能对人们的生活产生重大影响的领域。这些领域包括自动信用评分、医疗诊断、招聘和自动驾驶，以及其他许多领域。

同时，机器学习系统也变得更加复杂，使得分析和理解它们如何得出结论变得困难。这种复杂性的增加——以及随之而来的可解释性的缺乏，对在高风险环境中使用机器学习系统提出了根本的挑战。

此外，许多法律和制度的前提是个人有权要求对某项决定作出解释，特别是当该决定导致负面后果时。例如从求职者起诉招聘过程中的歧视，银行客户询问收到低信用额度的原因，以及士兵在军事法庭上解释他们的行动。

因此，需要有一个过程来评估一个决定是如何作出的，以及它是否符合提前设定的标准。为了使现代机器学习系统能够安全地融入高风险环境中的现有规程中，它们必须能够被人类操作者解释。

1、为什么现代机器学习系统无法解释？

许多现代机器学习系统使用称为深度神经网络的统计模型，这些模型能够代表广泛的复杂关联和模式。为了理解为什么深度神经网络的决策难以解释，可以将其与两类可解释的系统相对照。

一个例子是早期的人工智能系统，它使用人类指定的规则而不是依赖数据。作为一个简化的例子，飞机上的自动驾驶系统使用一套"如果这样，那么那样"的规则来保持飞机的航向。类似的规则例如，如果机头下降，就把它抬起来；如果飞机向左倾斜，就向右滚一点，诸如此类。虽然真实系统中的规则更加复杂，但它们仍然允许人类审视系统的行为，并认识到这一点引发了那一点。

第二个例子是线性模型，一种简单的机器学习模型。像所有的机器学习系统一样，线性模型使用称为参数的数字值来表示输入和输出之间的关系。例如，人们可以创建一个模型，从一个人的年龄和受教育年限这两个解释变量来预测他的工资。在一个线性模型中，主要参数将是一个乘以解释变量"年龄"的数字值，以及一个乘以另一个解释变量"受教育年限"的数字值。确定这两个参数应该取什么值是机器学习的学习部分。对于一个线性模型来说，好的参数值可以通过简单的计算找到，这可能需要计算机花费不到一秒的计算时间。

更重要的是，因为线性模型中的每个参数都与一个解释变量直接相关，所以理解模型的工作原理很简单。比方说，如果被乘以"年龄"的参数比"受教育年限 "的参数高得多，那么该模型就预测相比于"受教育年限 "，年龄是决定工资的一个更重要因素。

深度神经网络是不同的。根据设计，它们的参数远远多于线性模型，而且每个参数都以复杂的方式与输入和其他参数相联系，而不是直接将解释变量与模型试图预测的结果相联系。

这种复杂性是一把双刃剑。一方面，模型可以代表高度复杂的关联和模式，使它们能够解决以前被认为是计算机无法解决的问题，包括图像识别、自动驾驶和下围棋。另一方面，与较早或较简单的计算机系统不同，每个模型的内部运作都非常难以理解。

在这一点上，值得注意的是，为什么在这种情况下经常使用的"黑匣子"一词用来描述深度神经网络难以理解，其实并不完全正确。

实际上，机器学习研究人员完全了解这些系统所依据的数学运算是如何工作的，而且很容易看清构成模型的参数值。真正的难点在于理解这些数以百万计（甚至数十亿计）的数字值，如何与我们关心的概念相联系，例如为什么机器学习模型可能错误地将一只猫归类为狗。

换句话说，解释深度神经网络既需要了解数据中的哪些高级特征（例如图像的某一部分或特定的文字序列）会影响模型的预测，也需要了解为什么模型会将某些高级特征与相应的预测联系起来（也就是说，深度神经网络如何对数据进行 "推理"）。

2、如何使现代机器学习系统更具可解释性

研究人员正在寻求一系列不同的方法来提高现代机器学习系统的可解释性。这项工作的一个基本挑战是，围绕不同类型的系统的可解释性意味着什么，还没有形成清晰、明确的概念。到目前为止，可解释性研究试图建立一些工具，使人类操作员在某种程度上更有可能理解系统的输出和内部运作。

图1.图像的例子和它们相应的突出性地图，表明图像的哪些部分对一个在大型图像集上训练的机器学习系统如何进行分类贡献最大。

显著性地图（Saliency maps）是一套流行的工具，其对使用于计算机视觉应用的现代机器学习系统具有可解释性。广义上讲，显著性地图将图像的哪些区域导致了模型对同一图像的分类。

例如，我们可能会调查为什么一个深度学习模型学会了从一个标记为猫和狗图像的大型数据集中识别猫和狗的图像。如果想了解为什么该模型将德国牧羊犬的图像归类为狗，那么显著性图可能会突出图像中含有狗的特征的部分，而不是猫的特征。通过这种方式，显著性地图向人类操作员传达了图像的哪一部分促使机器学习系统对图像进行了分类。

另一种使深度神经网络更易解释的流行方法是将模型的不同组成部分与可能影响模型预测的高层次概念的关系可视化——这些概念包括图像分类器中的纹理和物体、语言模型中的语法和语气，或者顺序决策模型中的短期与长期规划。

图2.一个显示图像分类网络不同层"看到"的例子的可视化。最左边的一列描述的是早期的层，正在收集线条；中间的层正在检测纹理和越来越复杂的图案；右边显示的后期层正在寻找物体。

不幸的是，现有的使现代机器学习系统可解释的方法是不够的；它们通常只提供一个角度来观察系统，而不是从整体上看。为了充分了解一个机器学习系统是如何工作的，必须了解数据和学习算法是如何影响训练的，在修改的训练条件下，训练是否会产生不同的模型，以及所有这些因素最终是如何影响系统的预测。目前，对这些问题的理解还非常有限，从现有方法中获得的见解很可能是错误的，而且只适用于一小部分应用领域。

例如，图1中的显著性地图确实对有关模型的工作原理有所启发。例如，我们可以看到，该模型将注意力集中在狗身上，并将其归类为狗，但却部分地通过观察海洋来识别帆船。然而，显著性地图并不能帮助人类观察者理解什么可能导致了不同的结果。同样地，图2显示了一种理解图像分类器不同部分检测内容的方法。不幸的是，这种类型的可视化并不能帮助人类操作者评估该系统是否可能是准确的、公平的或可靠的。

可解释的机器学习系统缺乏一个共同的、定义明确的词汇，这进一步加剧了这些缺陷。一些关键的概念，如可信度、可靠性、透明度或可验证性，常常被松散地使用或互换，而不是指这些术语的标准化或普遍接受的技术定义，这使得人们难以衡量进展，也难以准确可靠地向公众传达研究成果。

可解释性将使人们能够了解机器学习系统的潜在故障模式，实现监管合规和审计，并减少具有算法或数据引起的偏见的模型部署的风险。使现代机器学习系统（如深度神经网络）具有可解释性，将有助于确保任何部署在安全关键环境中的此类系统都能按预期工作。

不幸的是，虽然是一个活跃的、正在进行的研究领域，但现有的实现可解释性的方法还没有提供令人满意的解决方案。目前还不清楚何时或甚至是否能够部署真正可解释的深度学习系统。同时，最好的选择可能是尽可能地坚持使用更简单、更内在的可解释性模型。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

关于保护网络和信息系统安全的相关文章包括：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

关于中美与国家安全相关的审查机制的文章：

地缘政治与跨国科技公司运营之间的互动影响：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

关于个人数据和域外国家安全审查之间的关系，见：

关于健康医疗数据方面的文章有：

关于数据执法跨境调取的相关文章：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于《数据出境安全评估办法》的系列解读文章

美国方面的个人信息保护立法的文章：

关于个人信息安全影响评估的文章如下：

关于业务场景中数据跨境流动的文章如下：

关于数据要素治理的相关文章包括：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的文章：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：