美国NIST发布《对抗性机器学习：攻击与缓解的分类和术语》

编者按

关于AI与标准化工作，本公号发表的文章：

2024年伊始，美国NIST发布了一份报告——Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (NIST.AI.100-2)，报告阐述了 "对抗性机器学习 "威胁，介绍了缓解策略及其局限性。公号君翻译了NIST的新闻稿件，供大家参考。

一个AI系统可能会发生故障，如果敌手找到一种方法来混淆其决策。在这个例子中，道路上的错误标记误导了无人驾驶汽车，可能使其偏离至迎面而来的交通。这种“逃避”攻击是新NIST出版物中描述的众多对抗性策略之一，旨在帮助概述我们可能期望的攻击类型以及缓解它们的方法。图片来源：N. Hanacek/NIST



对手可以故意混淆甚至“投毒”人工智能（AI）系统，使其发生故障——而且开发者没有万无一失的防御方法。来自国家标准与技术研究院（NIST）的计算机科学家及其合作者在一份新出版物中识别了AI和机器学习（ML）的这些和其他漏洞。

他们的工作，名为《对抗性机器学习：攻击与缓解的分类和术语》（NIST.AI.100-2），是NIST支持可信赖AI发展的更广泛努力的一部分，它可以帮助实践NIST的AI风险管理框架。该出版物是政府、学术界和工业界的合作，旨在帮助AI开发者和用户了解他们可能期望的攻击类型以及减轻它们的方法——并理解，在这方面并没有一劳永逸的解决办法。

“我们提供了一种攻击技术和方法的概述，涵盖了所有类型的AI系统，”NIST计算机科学家Apostol Vassilev说，他是出版物的作者之一。“我们还描述了文献中报道的当前缓解策略，但这些现有防御目前缺乏强有力的保证即它们完全缓解了风险。因此，我们鼓励社区提出更好的防御措施。”

AI系统已渗透到现代社会中，其工作能力范围从驾驶车辆到帮助医生诊断疾病，到作为在线聊天机器人与客户互动。为了学习执行这些任务，它们接受了大量数据的训练：例如，自动驾驶车辆可能会显示带有路标的高速公路和街道的图像，而基于大型语言模型（LLM）的聊天机器人可能会接触到在线对话的记录。这些数据帮助AI预测在给定情况下如何响应。

一个主要问题是，数据本身可能不值得信任。其来源可能是网站和与公众的互动。在AI系统的训练期间以及之后，当AI通过与物理世界的互动继续完善其行为时，不法分子破坏这些数据的机会很多。这可能导致AI以不理想的方式表现。例如，聊天机器人可能会学会在其防护措施被精心设计的恶意提示规避时以辱骂或种族主义语言回应。

“在大多数情况下，软件开发者需要更多人使用他们的产品，以便它能在接触中变得更好，”Vassilev说。“但没有保证接触会是好的。当用精心设计的语言提示时，聊天机器人可能会吐出不良或有害信息。”

部分原因是用于训练AI的数据集太大，以至于人们无法成功监控和过滤，目前尚无万无一失的方法保护AI免受误导。为了协助开发者社区，新报告提供了其AI产品可能遭受的攻击类型及减少损害的相应方法概述。

该报告考虑了四种主要类型的攻击：逃避、投毒、隐私和滥用攻击。它还根据多个标准对它们进行分类，如攻击者的目标和目的、能力和知识。

• 逃避攻击发生在AI系统部署后，试图通过改变输入来改变系统的响应方式。例如，向停车标志添加标记，使自动驾驶车辆误解为速度限制标志，或创建混乱的车道标记，使车辆偏离道路。
• 投毒攻击发生在训练阶段，通过引入腐败数据来进行。一个例子是在对话记录中悄悄添加大量不恰当的语言，使聊天机器人将这些实例解释为足够常见的语言，以在自己的客户互动中使用。
• 隐私攻击发生在部署期间，是试图了解关于AI或其受过训练的数据的敏感信息以滥用它。敌手可以向聊天机器人提出许多合法的问题，然后利用答案来逆向工程模型，以找到其弱点——或猜测其来源。向这些在线来源添加不希望的示例可能会使AI表现不当，事后使AI忘记这些特定的不希望的示例可能很困难。
• 滥用攻击涉及向AI吸收的来源（如网页或在线文档）中插入错误信息。与前述的投毒攻击不同，滥用攻击试图从合法但受损的来源给AI提供错误的信息片段，以重新利用AI系统的预期用途。

“大多数这些攻击都相当容易发起，并且只需要对AI系统有最低程度的了解和有限的敌对能力，”共同作者、东北大学教授Alina Oprea说。“例如，投毒攻击可以通过控制几十个训练样本来发起，这将是整个训练集的很小一部分。”

作者——还包括Robust Intelligence Inc.的研究人员Alie Fordyce和Hyrum Anderson——将这些攻击类别细分为子类别，并添加了缓解它们的方法，尽管该出版物承认，AI专家迄今为止为对抗性攻击设计的防御措施至多是不完整的。对这些限制的认识对于希望部署和使用AI技术的开发者和组织来说很重要，Vassilev说。

“尽管AI和机器学习取得了显著进展，这些技术容易受到攻击，可能导致惊人的失败和严重后果，”他说。“保护AI算法的理论问题还没有解决。如果有人说不同，他们就是在贩卖蛇油。”

关于人工智能安全和监管，本公号发布过以下文章：

关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：

数据保护官（DPO）社群主要成员是个人信息保护和数据安全一线工作者。他们主要来自于国内头部的互联网公司、安全公司、律所、会计师事务所、高校、研究机构等。在从事本职工作的同时，DPO社群成员还放眼全球思考数据安全和隐私保护的最新动态、进展、趋势。2018年5月，DPO社群举行了第一次线下沙龙。沙龙每月一期，集中讨论不同的议题。目前DPO社群已超过400人。关于DPO社群和沙龙更多的情况如下：

DPO线下沙龙的实录见：

1. 第二十一期DPO沙龙纪实：数据合规中的自动化技术及其应用

2. 数据保护官（DPO）大湾区沙龙：大湾区数据跨境便利化的安全合规路径和实践案例-纪实

域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：

传染病疫情防控与个人信息保护系列文章

关于数据与竞争政策的翻译和分析：

健康医疗大数据系列文章：

网联汽车数据和自动驾驶的系列文章：

网络空间的国际法适用问题系列文章：

《网络数据安全管理条例（征求意见稿）》系列文章：

《数据安全法》的相关文章包括：

赴美上市的网络、数据安全方面的两国监管乃至冲突方：

个性化广告或行为定向广告（behavioral targeting advertising）系列的文章：

人脸识别系列文章：

内容安全方面的文章如下：

关于健康医疗数据方面的文章有：

第29条工作组/EDPB关于GDPR的指导意见的翻译：

数字贸易专题系列：

关于中国数据出境安全管理制度的文章

1. 认证制度为中国个人信息跨境流动保驾护航

2. 专家解读｜《个人信息出境标准合同办法》出台 贡献数据跨境流动中国方案

美国方面的个人信息保护立法的文章：

关于印度的数据保护和数据治理政策和技术文件的文章有：

关于欧盟技术主权相关举措的翻译和分析：

关于数据的安全、个人信息保护、不正当竞争等方面的重大案例：

围绕供应链安全，本公众号曾发表文章：

围绕着出口管制，本公众号曾发表文章：

本公号发表过的关于数据执法跨境调取的相关文章：

通过技术增强对个人信息的保护的文章包括：

关于保护网络和信息系统安全的相关文章包括：

关于个人数据和域外国家安全审查之间的关系：

围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：

地缘政治与跨国科技公司运营之间的互动影响：

关于中美与国家安全相关的审查机制，本公号发布过以下文章：

关于个人信息安全影响评估的文章如下：

针对已公开数据的个人信息保护研究，本公号发表过以下文章

关于我国《个人信息保护法》相关文章包括：

关于业务场景中数据跨境流动的文章如下：

1. 欧

关于我国数据跨境流动监管体制变革的系列文章：

关于数据要素治理的文章有：