为AI攻防测能力，清华联合阿里、RealAI发布全新测试基准平台Adversarial Robustness Benchmark

“

世界首发对抗攻防基准平台，对人工智能算法对抗攻防提供公开、公平、公正、全面的衡量，增强算法安全的鲁棒性，更好的为大众服务。

”

骗过一只AI有多简单？据说，只要替换“一点点”的图片像素，图像识别系统就会把活生生的大熊猫识别成长臂猿。

这种干扰平时看起来人畜无害，但将容易受干扰的AI算法用在对安全敏感的领域呢？例如人脸识别、自动驾驶、医疗检测。今年1月，清华大学RealAI团队曾用一副带有对抗噪声的眼镜，解锁了19款主流手机的人脸验证系统。

如何提高AI算法的安全性？

方法很多，但是首要做的是评估AI模型的安全性，即只有明确AI模型是否安全，攻击和防御能力几何？才能“对症下药”，有针对性的设计适合的方法。

2019年至今，阿里安全联合清华大学举办 “安全AI挑战者计划”系列赛事，目前已举办7期，吸引了全球26个国家和地区的40000多名参赛者积极报名；并和CVPR 2021、ACM MM 2021、CIKM2020等国际顶会协同举办。2020年，清华大学联合RealAI发布ARES对抗攻防开源算法平台，具有丰富的对攻防算法以及综合评测指标。

基于这些长期的积累和实践，清华大学、阿里安全、RealAI这三个顶级的AI安全研究团队布局了“AI模型评估”这件事情。历时三年，三家团队也一起“走”过了从过去自主研发为主，到科研高举开放和国际化的全面合作；从产业落地到学术前沿的探索；从国内走向全球化，国际化......

在6月3日第三届智源大会上，三家联合发布了首个AI攻防对抗基准平台。基于安全AI挑战者赛，该平台被“喂”了2000+攻击算法。所以，它的关键词是：公平、全面、先进。

注：北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动，定位于“AI内行顶级盛会”，2019年举办了首届大会，今年为第三届，6月1日至3日线上线下同步召开，超过3万多名人工智能领域专业人士注册参会。

01攻防一体AI安全基准平台

前面提到，评测基准的基础是阿里安全和清华联合举办安全AI挑战者计划系列赛事，在人脸识别攻击、图像分类攻击、文本对抗攻击、目标检测攻击等场景进行了一些列的对抗攻击比赛，积累了大量恶意样本和攻击算法。

阿里安全高级算法专家越丰介绍，在AI对抗领域打造“ImageNet数据集”，为AI安全的发展“推一把”的想法就萌生了。在动手之前，越丰和研究人员首先思考了对抗攻防领域与传统的视觉任务数据集之间的区别：

1. 对抗领域和传统图像分类（ImageNet）等任务不一样的地方在于，攻防是一体的，不能只考虑一种形态。

2. 对抗攻防不仅仅只有数据集，数据集是针对攻击数据，是由攻击算法生成的。

基于以上两点，团队选择的思路是：跳出数据集的维度，从防御模型（算法）以及攻击算法的角度上去考虑，然后构建攻防一体的AI 安全 Benchmark。

研发团队另一个困难在于比赛中得到“数据”，场景、类型丰富，导致整体繁杂，太泛（人脸、文本、分类、检测..）导致无法聚焦。对此，他们把问题放到了图像分类的对抗攻防的benchmark上，并且采用公开的CIFAR10和ImageNet数据集。

之所以这么做，是因为Adversarial Attack & defense的起源也是来自于图像分类模型，其他的模态文本或者是其他的场景（人脸、检测）等都是在基本算法上的应用。

图注：左是Benchmark中对抗攻击算法的排名，右是对抗防御算法的排名

越丰认为，防御算法、攻击算法、数据三要素构成了考虑全面的基准。相比之前的基准，该基准攻防一体，也可以使用多种攻击算法评估单个防御模型，因此，评估策略更加全面和科学。

清华大学方面则介绍，攻击方法也引入了CVPR2021 White-box Adversarial Attacks on ML Defense Models 比赛中前5名的攻击方法，能够更加有效地衡量模型的鲁棒性。

除了全面，该基准的先进性同样体现在研发团队的学术和工业底蕴！其中清华方面的团队来自清华人工智能研究院，以未来人工智能的原创性基础理论为发力点，力求在探究智能本质的基础上，产生人工能基础理论和关健技术上的创新成果；而阿里安全图灵实验室是阿里巴巴从事安全领域机器学习研发的顶级团队，专注于 CV、NLP 及 ML 领域；RealAI（瑞莱智慧）团队孵化于清华大学人工智能研究院，专注于第三代人工智能技术的研发及应用，是国内首家安全可控人工智能系统提供商。

02为什么要做AI安全评估平台？

在6月3日的发布会上，中国科学院院士，清华大学计算机系教授张钹提到，AI发展将引发新一代的产业革命，一方面是产业的智能化，另一方面是智能技术的产业化；后者会催生新的产业，例如智能交通、智慧城市、智慧医疗等。

但是，人工智能的发展具有特殊性，主要体现在两点。在算法层面，AI算法非常脆弱，一些在训练数据集上表现优秀的模型，一旦迁移到陌生的实际场景，往往会面临安全问题；在数据层面，由于人工智能应用效果很大程度上依赖数据，由此会带来隐私泄露、数据确权等问题；在应用层，人工智能技术已经对人们的生活造成冲击，对社会造成重大影响的技术，必须保证安全可控。

换句话说，随着全球多个国家都将发展新一代人工智能提升为国家战略，产业需求呈井喷之势，人工智能也亟需发展出安全、可信、可靠与可扩展的第三代人工智能技术。

因此，必须解决创新发展和安全治理的问题。解决问题的第一步显然是定义问题，所以指标上量化AI模型的“安全性”，从而为AI发展保驾护航。

AI模型为什么如此脆弱？在与AI科技评论的谈话中，清华大学教授朱军介绍道：

通俗来讲，现在很多神经网络或者模型存在“不知道自己不知道”的现象，原因就在于，它们对可信区域的“边界”感知不清晰。

不同于实验室环境中，喂给模型的数据都是经过清洗的干净样本，现实环境中的数据通常含有大量噪声。理想情况下，模型需要判断哪些区域内的数据是可信的，它的边界在哪里，但现在的神经网络并没有这种机制。因此，对边界感知能力弱是影响模型可靠性或鲁棒性的一个根本原因。

至于如何攻克这一难题，朱军表示目前正尝试从“划定边界”的角度来提高模型的防御能力，这也是Benchmark平台的研发目标之一。此外，贝叶斯深度学习为密度估计提供了一些有前景的方向，这些方法成熟之后，我们可以让鉴别器自己具备“划定边界”的能力，虽然这个思路在技术上仍存在诸多挑战，但它是值探索的方向。

Benchmark平台的目标除了研发更强更易用的攻击和防御算法外，更是希望建立一个完整AI安全生态。

针对当前AI安全领域的评测难题，Benchmark旨在打造一个更全面，更客观，更公平且在行业内具有权威性的AI安全基准平台。现阶段，该平台已经涵盖十几种经典攻防算法，包括CVPR2021人工智能攻防赛中的Top5。在评测指标上也摆脱了单点评测的局限，提供了更为综合指标。

朱军表示，下一阶段，清华大学、阿里安全、RealAI三方将共同推进Benchmark平台生态建设，吸引更多来自学术界和产业界的团队贡献新的攻防算法。

点击下方关注我们，记得“星标”哦！

Benchmark网站请点击底部“阅读原文”

为即将到来的更多治理干货点👍