可信 AI，未来可期!

欢迎来到技术大院，你关心的就是我们关注的。

【导读】随着社会各界对人工智能信任问题的不断关注，安全可信的人工智能技术已成为研究领域的热点。研究的焦点主要是提升人工智能系统稳定性、可解释性、隐私保护、公平性等，这些技术构成了可信人工智能的基础支撑能力。

ACM与IEEE双Fellow、华人女计算机科学家周以真：可信AI，未来可期。

周以真（英文名Jeannette M. Wing），美国计算机科学家，曾任卡内基-梅隆大学教授。美国国家自然基金会计算与信息科学工程部助理部长。ACM和IEEE会士。她的主要研究领域是形式方法、可信计算、分布式系统、编程语言等。现为哥伦比亚大学数据科学研究院主任、计算机科学教授，其长期研究兴趣主要集中于网络安全、数据隐私以及人工智能。

背景

2021年世界互联网大会乌镇峰会，中国信息通信研究院院长、中国人工智能产业发展联盟秘书长余晓晖担任人工智能分论坛尖峰对话环节主持人，对话以“打造可信AI新未来”为主题，与会嘉宾围绕如何打造可信AI新未来展开了深入探讨。

中国人工智能产业发展联盟（AIIA）2021人工智能产业峰会可信人工智能分论坛将于2021年11月11日在杭州奥克斯中心皇冠假日酒店举行，汇聚人工智能业内人士参会，探讨可信AI的落地实践之路。

新一代人工智能技术迅猛发展，在给人类社会生活带来巨大机遇的同时，也蕴含着风险与挑战，面对人工智能技术风险引发的信任危机，发展“可信AI”正在成为全球共识。

对于某些任务，人工智能系统已经取得足够好的表现，可以部署在我们的道路和家里。比如，物体识别可以帮助汽车识别道路；语音识别则有助于个性化语音助手（如Siri和Alexa）交流。对于其他任务，人工智能系统的表现甚至超过了人类，AlphaGo 就是第一个击败世界最强围棋选手的计算机程序。

人工智能的前景广阔。帮助医生更准确地诊断疾病，帮助法官做出更加一致的法庭裁决，帮助雇主聘用更合适的求职者。

然而，我们也知道这些人工智能系统可能是不堪一击且不公正的：

• 在停车标志上涂鸦可以骗过分类器使其认为这不是停车标志

• 向良性皮肤病变的图像中加入噪音也会欺骗分类器，使其误以为是恶性的

• 美国法院使用的风险评估工具已被证明对黑人持有偏见

• 企业的招聘工具也被证明歧视女性

• .........

那么，我们如何才能兑现人工智能带来好处的承诺，同时解决这些对人类和社会来说生死攸关的情况呢？简而言之，我们怎样才能实现可信AI？我们今天就来聊聊这个话题。

关注公众号：技术大院，对话框回复"可信AI"，获取2021可信AI白皮书。

从可信计算到可信AI

具有里程碑意义的1999年国家科学院网络空间信任（Trust in Cyberspace 1999 National Academies）报告奠定了可信计算的基础，此后，可信计算持续成为一个活跃的研究领域。

大约在同一时期，美国国家科学基金会（National Science Foundation）启动了一系列关于信任的项目：

• 2001年的可信计算（Trusted Computing）

• 2004年的网络信任（Cyber Trust）

• 2007年的可信赖计算（Trustworthy Computing）

• 2011年的安全可信的网络空间（Secure and Trustworthy Cyberspace）

计算机和信息科学与工程理事会（Computer and Information Science and Engineering Directorate）已经发展成可信计算的学术研究社区。虽然它源于计算机科学社区，但现在支持可信计算的研究已跨越了美国国家科学基金会的多个部门，并涉及许多其他资助组织，包括通过网络和信息技术研究与发展（NITRD）计划和20个联邦机构。

产业界也一直是可信计算的领导者和积极参与者。在比尔·盖茨2002年1月的“可信计算（Trustworthy Computing）”备忘录中，微软向它的员工、客户、股东和其他信息技术部门传达了可信软件和硬件产品的重要性。它提到了微软内部的一份白皮书，该白皮书确定了信任的四个支柱：安全、隐私、可靠和商业诚信。



经过 20 年的投资和研发进步，“可信”已经意味着一组（重叠的）属性：

• 可靠性：系统做正确的事情吗
• 安全性：系统没有危害吗
• 保密性：系统是否容易受到攻击
• 隐私性：系统是否保护个人的身份和数据
• 可用性：当人类需要访问系统时，系统是正常的吗
• 实用性：人类可以轻松使用它吗

我们希望这些属性存在于硬件和软件等计算系统中，以及存在于这些系统与人类和物理世界的交互。在过去的几十年里，学术界和产业界在可信计算方面取得了巨大的进步。然而，随着技术的进步和对手变得越来越复杂，可信计算仍然是一个艰难的梦想。

人工智能系统在利益属性方面提高了标准。除了与可信计算相关的属性(如前所述)，我们还需要(重叠的)属性，例如：

• 准确性：与训练和测试过的数据相比，人工智能系统在新的（不可见的）数据上表现如何
• 鲁棒性：系统的结果对输入的变化有多敏感
• 公平性：系统的结果是否公正
• 问责制：什么人或什么物对系统的结果负责
• 透明度：外部观察员是否清楚系统的结果是如何产生的
• 可理解性/可解释性：系统的结果是否可以通过人类可以理解和/或对最终用户有意义的解释来证明
• .........其他尚未确定的属性

机器学习社区将准确性视为黄金标准，但可信AI要求我们在这些属性之间进行权衡。比如，我们也许愿意为了部署一个更公平的模型而舍弃一些准确性。
此外，上述的某些属性可能有不同的解释，最终导致不同的形式。例如，有许多合理的公平概念，包括人口平等、机会均等和个人公平等等，这其中的一些概念彼此并不相容。

可信AI当下面临的挑战：

• 规范和验证技术
• “正确构建”技术
• 新的威胁模型和系统级对抗性攻击
• 审核考虑可解释性、透明度和责任等属性的人工智能系统的流程
• 检测偏差和去偏差数据的方法、机器学习算法及其输出
• 试验可信属性的系统基础设施
• 理解人为因素，例如，机器在哪些方面影响人类行为
• 理解社会因素，包括社会福利、社会规范、道德、伦理和法律

传统的软件和硬件系统由于其规模和组件之间的交互数量而变得复杂。在大多数情况下，我们可以根据离散逻辑和确定性状态机来定义它们的行为。

今天的人工智能系统，尤其是那些使用深度神经网络的系统，给传统的计算机系统增加了一个复杂的维度。这种复杂性是由于它们固有的概率性质。通过概率，人工智能系统对人类行为和物理世界的不确定性进行建模。更多机器学习的最新进展依赖于大数据，这增加了它们的概率性质，因为来自现实世界的数据只是概率空间中的点。
因此，可信AI必然会将我们的注意力从传统计算系统的主要确定性本质转向人工智能系统的概率本质。

构造可信系统需要哪些支撑技术

人工智能释放出的巨大能量正在持续改变社会的方方面面。随着人工智能技术在众多领域被广泛与深度应用，其也不断暴露出风险隐患，比如人工智能系统的脆弱性、系统的安全性、隐私性、公平性等等。

构建可信的AI，就是要解决暴露出来的诸多问题，因此笔者认为，至少需要以下四大技术的支撑：

• 人工智能系统稳定性技术

• 人工智能可解释性增强技术

• 人工智能隐私保护技术

• 人工智能公平性技术
  

关注公众号：技术大院，对话框回复"可信AI"，获取2021可信AI白皮书。

稳定性技术

人工智能系统面临着特有的干扰，这些干扰来自于针对数据和系统的多种攻击方式，包括中毒攻击、对抗攻击、后门攻击等。这些攻击技术既可互相独立也可以同时存在。

人工智能系统受干扰可能无法正确识别目标。例如监控识别系统，通过拍摄到的图像推断当前场景的信息，但如果照片的一部分被遮挡或被刻意替换，就会造成潜在的危害。

人工智能的稳定性仍然面临着较大的挑战：

• 各种干扰手段层出不穷、持续演进，新的攻击方法容易让旧的防御方法失效

• 干扰的形式正在逐步从数字世界向物理世界蔓延

• 以深度学习为核心的人工智能技术存在脆弱和易受攻击的缺陷，使得人工智能系统的可靠性难以得到足够的信任

可解释增强技术

目前，以深度学习算法为核心的人工智能系统的运作就像是一个黑箱，人们只能看到数据的导入和输出，而不清楚内部的工作原理和判断依据：

• 人们对训练得到的人工智能模型为何能具有极高的性能尚不清楚

• 人工智能系统在做出决策时具体依赖哪些因素人们也不清楚
  

算法安全导致的应用风险，黑箱模型导致算法不透明。深度学习具备高度复杂性和不确定性，从而容易引发不确定性风险。由于人们无法直观地理解决策背后的原因，人工智能与传统行业的进一步融合受到阻碍。

在一些安全性要求更高的应用领域，比如医药翻译、机器人手术等，人工智能系统缺乏可解释性往往会带来极大的危害。一个微小的错误若得不到预防和及时控制，就可能会带来致命的事故，且可能会引发人们对于人工智能技术的信任危机。针对人工智能算法可解释性的研究仍处在初期阶段，部分算法的理论框架有待完善。

2016年，美国国防部高级研究计划局（DARPA）通过启动可解释人工智能 （XAI） 计划，专注于可解释性。该计划的目标是开发新的机器学习系统，可以“解释其基本原理、描述其优势和劣势，并传达其对未来表现的理解。”有了可解释性，终端用户就会更加相信并采纳系统的结果。

隐私保护技术

近年来人工智能技术的迅速发展依赖于大量的数据，但其中可能包含用户的隐私信息。这引起社会各界对于隐私保护问题的关注。

数据滥用导致隐私泄露风险。生物识别信息的频繁使用使得个人隐私数据泄露的可能性增大，数据一旦丢失会造成极大的安全风险。

人工智能系统需要依赖大量数据，然而数据的流转过程以及人工智能模型本身都有可能泄漏敏感隐私数据。学界针对上述隐私泄露问题提出了多种针对性的保护方法。

最常见的为基于差分隐私和基于联邦学习的隐私保护方法。其核心思想是一个具有优秀隐私保护能力的人工智能算法应当对输入数据中的微小扰动不敏感。基于该思想，可以通过对数据进行下采样、顺序置换、添加噪声等方式，来防御攻击者进行隐私窃取。

今年我国正式通过了《数据安全法》和《个人信息保护法》。这些法律法规对数据的处理和使用方式设立了多个维度的规范，对人工智能系统在使用数据时的合规性提出了更高的要求。

在当前时代下，越来越多的隐私信息承载于数据之中，针对隐私保护进行研究能使得人工智能系统符合法律的基本规范和要求，完善可信人工智能的建设。

公平性技术

公平性也是我们要慎重考虑的因素。比如此前在国外被报道的某网络监控与管理系统，就对黑人有系统性的歧视。公平性，不仅仅体现在种族上，还有男女、不同的家庭收入、不同的居住区域等等，人工智能系统需要公平地考虑各种因素，保证所有人都公平享受到技术带来的价值。

数据歧视导致智能决策偏见。人工智能算法产生的结果会受到训练数据的影响，因此，如果训练数据中存在偏见歧视，算法会受到歧视数据的影响，并进一步固化数据中存在的偏见歧视，导致依托人工智能算法生成的智能决策形成偏见。

人工智能在敏感领域的应用越来越多，包括招聘、刑事司法、医疗等，其公平性也受到了广泛的担忧。公平性技术能够从技术角度对数据进行均衡，从而进一步引导模型给出公平的结果，这对于提高人工智能系统决策公平性具有重要意义。

随着人工智能系统的广泛应用，其表现出了不公平决策行为以及对部分群体的歧视。学术界认为，导致这些决策偏见的主要原因如下：

• 受数据采集条件限制，不同群体在数据中所占权重不均衡

• 在不平衡数据集上训练得到的人工智能模型，可能会为了在整体数据上的平均性能，而牺牲在少量数据上的性能，造成模型决策不公平

构建可信AI社区

可信AI的研究是一项广泛且长期的项目，将可信计算、形式方法和人工智能领域的研究人员聚集在一起，我们的目标是在可信AI领域内培育一个跨学术界、产业界和政府的新型研究社区。

学术界推开可信人工智能的大门，政府、企业紧随其后：

• 中国科学家何积丰院士于2017年11月香山科学会议第S36次学术研讨会首次在国内提出了可信人工智能的概念

• 2020年欧盟的《人工智能白皮书》提出了人工智能“可信生态系统”

• 美国白宫公布了一项名为《促进政府使用可信人工智能》的行政命令

• 标准化组织布局可信人工智能标准

许多推动机器学习和人工智能前沿的科技公司并没有坐以待毙。他们意识到可信AI对他们的客户、业务和社会福利的重要性，主要关注的是公平性。

• IBM的AI Fairness 360提供了一个开源工具包，用于检查数据集和机器学习模型中不必要的偏见

• 谷歌的TensorFlow工具包提供了“公平性指标”，用于评估二元和多类分类器的公平性

• 微软的 Fairlearn 是一个开源包，供机器学习开发人员评估其系统的公平性并减轻观察到的不公平

• 在2018年的F8大会上，Facebook宣布了其Fairness Flow 工具，旨在“衡量对特定群体的潜在偏见”

• 亚马逊和美国国家科学基金会自 2019 年开始合作资助“人工智能公平”计划

正如可信计算一样，形式方法只是确保增加人工智能系统信任的一种方法。社区需要探索多种方法，尤其是组合方法，以实现可信AI。

其他方法包括测试、模拟、运行时监视、威胁建模、漏洞分析，以及对代码和数据进行等效的设计和代码审查。此外，除了技术挑战，还有社会、政策、法律和伦理方面的挑战。

可信人工智能则是从技术和工程实践的角度，落实伦理治理要求，实现创新发展和风险治理的有效平衡。

总体上看，针对可信人工智能的实践仍处于相对分散的状态，缺少一套体系化的方法论，以实现全面贯彻相关治理要求，体系化落实相关操作的实践性指引。

可以预见的不久的未来，随着人工智能技术、产业的不断发展，可信人工智能的内涵还将不断丰富。人工智能立法进程不断加快，但具体细则仍需进一步明确；同时产业界探索可信人工智能也逐步迈入深水区。
AI产业的发展终究是要建立在算法可理解+数据可信+参数可解释的框架之下。

关注公众号：技术大院，对话框回复"可信AI"，获取2021可信AI白皮书。

-----END-----

关注技术大院，看更多精彩内容

推荐阅读：