机器学习安全的基本概念（读书笔记之一）

编者按

2021年，全球范围内对于人工智能的监管已经开始从理论探讨走向实际的立法和执法阶段，标志性的事件就是欧盟提出了《欧洲议会和理事会关于制定人工智能统一规则（《人工智能法》）和修正某些欧盟立法的条例》的提案，以及我国国家互联网信息办公室发布的《互联网信息服务算法推荐管理规定》。

关于人工智能安全和监管，本公号发布过以下文章：

今天和大家分享的是读书笔记。

一、机器学习

机器学习方法是为了从数据中学习模式和关联。

通常，机器学习方法由输入和输出之间关系的统计模型（例如，一个音频记录和它的文本转录之间的关系）和一个学习算法组成。

该学习算法规定了当它收到更多关于这个输入-输出关系的信息时，统计模型应该如何变化。

随着更多数据的出现，更新统计模型的过程被称为"训练"。

一旦训练成功，机器学习系统就可以用来进行预测（例如，一幅图像是否描绘了一个物体或一个人），执行行动（例如自主导航），或生成合成数据（例如图像、视频、语音和文本）。

许多现代机器学习系统使用深度神经网络。这种统计模型可以代表广泛的复杂关联和模式，并且在处理大量数据时效果特别好。

机器学习系统从数据中获得关联和模式，而不是从预先指定的规则集中获得。因此，这些系统的有效性取决于用于训练她们的数据。

虽然机器学习系统不使用明确的规则来表示关联和模式，但它们确实使用规则来在训练期间更新模型。这些规则，也被称为 "学习算法"，编码了机器学习系统的人类设计师希望它如何从数据中"学习"。例如，如果目标是对猫和狗的图像进行正确的分类，那么学习算法应该包括一套更新模型的步骤，以逐步提高对猫和狗的分类能力。这个目标可以通过多种方式在学习算法中进行编码，而这样做则是人类设计者的任务。

二、稳健性（Robustness）

为了做到可靠，机器学习系统必须在广泛的条件下安全运行。在系统中量化它对具体的预测是否有信心的能力，可以减少在它没有充分准备好处理的情况下失败的机会。当系统在认识到它处于一个没有被训练过的环境中时，可以切换到一个安全的后备选项，或提醒人类操作员。

对机器学习系统来说，具有挑战性的输入可以以多种形式出现，包括系统以前可能从未遇到过的情况。

在这种情况下，安全运行意味着系统必须首先认识到它没有接受过针对这种情况的训练，其次，要有一种安全行动的方法，例如，通知人类操作员进行干预。

围绕这个问题，一个活跃的研究领域是寻求训练机器学习模型来估计他们预测的信心水平。这些估计，称为预测不确定性估计，将允许系统在遇到与它所训练的输入存在实质性不同时，提醒人类操作员。例如，考虑到一个机器学习系统的任务是在卫星图像中识别建筑物。如果在某一地区的卫星图像上进行训练，该系统就会学会识别与训练数据中的建筑物相似的建筑物。如果在部署时，它遇到了一个看起来与它在训练期间所见的任何建筑物都不一样的图像，一个强大的系统可能会也可能不会将该图像归类为显示建筑物，但一定会提醒人类操作员注意其不确定性，促使人类进行人工审查。

三、保证（Assurance）

为了确保机器学习系统的安全，人类操作员必须了解系统为什么会有这样的行为，以及它的行为是否会遵守系统设计者的期望。

一套强大的保证技术已经存在于前几代计算机系统中。然而，它们并不适合现代机器学习系统，如深度神经网络。

人工智能中的可理解性（有时也称为可解释性）是指研究如何理解机器学习系统的决定，以及如何设计其决定易于理解或可解释的系统。这样，人类操作者可以确保系统按照预期工作，在出现意外行为的情况下，可以得到对上述行为的解释。

值得注意的是，从事和开发现代机器学习系统的研究人员和工程师确实了解所谓的"黑箱 "模型内部的基本数学运算，以及它们如何从输入导致了输出。

但这种理解很难转化为人类对决策或预测的典型解释，比如，"我喜欢这所房子是因为它的厨房很大"。那么，可解释性旨在理解特定的机器学习系统是如何"开展推理"的。

也就是说，某些类型的输入或输入特征是如何导致特定机器学习系统作出特定的预测。

到目前为止，在这方面一些最好的工具包括，生成机器学习系统内部的数学运算的可视化，或者指出哪些输入特征对模型的输出负有最大责任。

在人类与机器学习系统实时互动的高风险环境中，可解释性对于给予人类操作者信心以对从这些系统获得的预测采取行动至关重要。

四、规范（Specification）

机器学习系统的"规范"指的是以确保其行为与人类操作者的意图相一致的方式来定义系统的目标。（defining a system’s goal in a way that ensures its behavior aligns with the human operator’s intentions）

机器学习系统遵循预先指定的算法从数据中学习，使其能够实现一个特定的目标。学习算法和目标通常由人类系统设计师提供。

在训练过程中，机器学习系统将试图达到给定的目标。因此，设计者必须特别注意指定一个能够导致预期行为的目标。如果系统设计者设定的目标不能很好地代表预期行为，系统将学习错误的行为，并被认为是"错误的指定"。

在指定的目标不能完全捕捉到期望行为的复杂性的情况下，这种结果很可能出现。如果一个错误的系统被部署在一个高风险的环境中，并且没有按照预期运行，那么机器学习系统目标的不良规范，会导致安全隐患。

社交媒体平台的视频推荐算法很容易出现错误规范的问题。这种算法旨在优化参与度——用户观看视频的时间长度——以实现广告收入最大化。然而，一个意想不到的副作用显现了出来。为了最大化观看时间，在某些情况下，推荐算法逐渐将用户引向极端主义内容（包括白人至上主义者和其他政治和宗教极端主义频道的视频），因为它预测这些推荐会使用户保持更长时间的参与。

这一现象的程度仍有争议，而且自从这一问题首次引起广泛关注以来，YouTube已经改变了其算法。然而，这个现象——对参与度的优化可能会产生意想不到的效果，表明了目标错误指定的危险性。

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

关于保护网络和信息系统安全的相关文章包括：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

关于中美与国家安全相关的审查机制的文章：

地缘政治与跨国科技公司运营之间的互动影响：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

关于个人数据和域外国家安全审查之间的关系，见：

关于健康医疗数据方面的文章有：

关于数据执法跨境调取的相关文章：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于《数据出境安全评估办法》的系列解读文章

美国方面的个人信息保护立法的文章：

关于个人信息安全影响评估的文章如下：

关于业务场景中数据跨境流动的文章如下：

关于数据要素治理的相关文章包括：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于我国《个人信息保护法》的文章：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：