开源系列：AI对抗攻防算法开源平台，哪家强？

原创：谭婧

人工智能算法攻与防，始于一个有趣的“捣乱”，在谷歌实验室里。

“捣乱”，纯粹是人为的，自己给自己添乱。

得到的实验室结论是：对输入样本（一张图片）故意添加一些人无法肉眼察觉的细微干扰，可以导致图像分类模型，会以较高的概率（高置信度）给出一个错误的输出。

在现实世界里，“捣乱”就让计算机出错。

2014年的这一结果写在了，谷歌研究员Christian Szegedy博士和其团队的论文《神经网络的有趣特性》（Intriguingproperties of neural networks）中。

论文作者，也觉“有趣”，不信你看论文的题目叫啥。

这可以算，全球最早对人工智能算法攻与防的研究。

或者说，人工智能算法攻与防的研究，肇始于谷歌公司。

论文地址：https://arxiv.org/pdf/1312.6199.pdf

2017年，Ian Goodfellow博士牵头组织了 NIPS 2017 对抗样本攻防竞赛，这是国际上第一次专门举办对抗攻防专竞赛。

这位三十多岁的AI新生代领袖，还有一个江湖称谓，“生成对抗网络之父。”

此网络，彼网络，都是深度学习之网络。

值得一提的是，清华大学朱军教授团队包揽了这次比赛三个赛道的冠军。

也在2017年，AI对抗攻防迎来首个算法开源平台CleverHans，听上去，中文名像“聪明的汉斯”。

由Ian Goodfellow和其团队开发并开源，欢迎来自全球各地的对抗算法开发人员贡献代码。

Cleverhans平台的攻防框架，将攻防算法模块化，全球研究者能在这一平台上，快速研发不同的对抗样本生成算法和防御算法。

Cleverhans交友网址：https://github.com/cleverhans-lab/cleverhans

次年，来自图宾根大学团队推出的Foolbox（直译，傻盒子）图像分类领域的攻防算法库，开源。

Foolbox 交友网址：github.com/bethgelab/foolbox

2019年，谷歌Ian Goodfellow博士团队就曾在2019年的论文“针对自动语音识别的不可察觉的、鲁棒的和有目标的对抗样本”，英文名为，Imperceptible, Robust, and Targeted Adversarial Examples forAutomatic Speech Recognition。

这一研究成果，告诉我们“有趣的捣乱”也适用在语音，将AI对抗样本攻防算法从图像领域扩展到语音领域。

这个谷歌团队的研究（语音对抗攻击算法），通过添加不可察觉的噪声达到100%的攻击成功率。 

论文地址：https://arxiv.org/abs/1903.10346

2019年，博士Ian Goodfellow从谷歌跳槽去了苹果公司。

谷歌AI痛失一员大将。

既然是攻防，始终要决出高下。

2020年底，来自图宾根大学的团队发布图像分类领域评估攻防算法鲁棒性的基准平台RobustBench。

这一基准平台，坐拥30多篇论文中零散的防御模型，利用单一的攻击算法测量防御模型的鲁棒性，可惜的是，用于评测的数据集不多。 

RobustBench交友网址：https://robustbench.github.io/

IBM公司的团队也做了类似的事情，开源了Adversarial Robustness Toolbox（ART，直译对抗鲁棒性工具箱）。

ART交友网址：github.com/Trusted-AI/adversarial-robustness-toolbox

短期内，两个针对图像分类领域的攻防算法开源库，相继面世。 

在清华大学，朱军教授团队低调开源了 AI 对抗安全算法平台ARES，简称Adversarial Robustness Evaluation for Safety。

ARES的中文名是阿瑞斯，古希腊神话中的战争之神，奥林匹斯十二主神之一。古希腊神话中的战神，双手持矛和盾是攻防合一的化身，AI安全算法攻与防博弈。

开源时间追溯到2019年11月24日。

ARES交友网址：github.com/thu-ml/ares

ARES平台，有朱军教授团队自行研发的相关攻防算法，有40多个不同类型的防御模型，支持上层API直接调用。

除了算法库，还有鲁棒性测评工具，支持对图像分类任务上不同模型的对抗鲁棒性进行准确和全面的基准测试。

众所周知，数据集分为训练集和测试集，训练集，训练模型；测试集，测试模型的性能。

因为测试鲁棒性所用的测试集很重要，所以，ARES平台采用了公开的CIFAR10和ImageNet数据集。

这一成果也被收录为CVPR2020的Oral论文《基于图像分类的对抗鲁棒性基准》，Benchmarking Adversarial Robustness on Image Classification。

论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Dong_Benchmarking_Adversarial_Robustness_on_Image_Classification_CVPR_2020_paper.pdf

图示：评测的设定值（setting），CIFAR-10是数据集，Untargeted是攻击的目标，epsilon是添加扰动大小。

CVPR2021期间，ARES平台也支持了白盒的对抗攻击竞赛（在线运行环境），全球1600多支代表队的选手在平台提交攻击算法，在提交的约2000个攻击算法中，高质量算法大概有100个。

在ARES平台上，为了做得更好，CVPR2021人工智能攻防竞赛中排名前五的攻击算法被收录，清华大学此前的研究成果也被收录。

ARES也是目前为止图像分类领域较为全面的算法鲁棒性基准平台。

现有的四大AI 对抗安全算法平台，CleverHans、Foolbox、ART、ARES，均有统一的底层框架和图像分类领域典型攻防算法，大型交友社区Github上都能测评。

但是，只有RobustBench和ARES后续出了网页版。

AI对抗算法鲁棒性基准平台的英文名是AdversarialRobustness Benchmark，也是网页的名字，Benchmark直译为“基准”。

平台的发布时间是在2021年6月，可以理解为一种对攻防算法进行鲁棒性排名，可作为参考，也可以视为榜单。

这是国内首个，由清华大学朱军教授带头，瑞莱智慧RealAI和阿里安全团队均有参与。

时光匆匆，人工智能算法攻与防，也走过了七个年头的岁月。

是时驻足思考，这一时期推出基准平台有什么意义？

朱军教授的理解是：

第一，努力提供一个公开、公平、公正、全面的衡量。

第二，一个方便使用的，鲁棒性测试工具，人人提交模型，均可以获取综合鲁棒的分数。

第三，不断引入新的攻击防御算法，作为标准测试平台。

新的算法提交到这个网站上，可以看到算法的大概表现。更综合的测评指标，评估策略更为科学，能给攻防领域的研究提供更多的指导和测评支撑，能全面、客观地展示最新的攻防方法。

最后，朱军教授希望和学术界、产业界一起去共建、维护这个公开榜单，让其成为攻防算法领域的一个标准。

专家观点：

   阿里安全高级算法专家，越丰：

像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性，尤其要关注恶意攻击者对数据或样本进行“投毒”，故意影响AI模型的攻击行为。

瑞莱智慧 RealAI CEO，田天博士：
算法安全，比较典型的就是对抗样本，它是深度学习范式下人工智能存在的一种缺陷，通过算法修改为样本攻击提供深层次的攻击，而且已经成为了主流的技术趋势。

伊利诺伊大学（UIUC）计算机科学系助理教授，李博：
机器学习在推理和决策的快速发展，已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中。但是，传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意会修改训练和测试数据这两种数据的分布。 这相当于在一个人成长的过程中，故意进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发AI系统产生错误判断。 好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。

本文致谢，董胤蓬博士，没有他的讲解，很难完成梳理。

他是清华大学计算机系四年级博士生，导师为朱军教授，负责AI攻防算法的研究与落地。主要研究方向为机器学习与计算机视觉，聚焦深度学习鲁棒性的研究，先后发表CVPR、NeurIPS、IJCV等顶级国际会议及期刊论文二十余篇。

曾是ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI等会议和期刊的审稿人。曾获得国家奖学金，清华大学未来学者奖学金、CCF-CV学术新锐奖、微软奖学金、百度奖学金等。在NeurIPS 2017人工智能对抗性攻防大赛中获得全部三个比赛项目的冠军。

这次分离 不说再见

 以下是朱军教授的PPT，自取，不谢。

公众号内回复暗号：“对抗算法”。

可获得朱军教授PPT。

更多阅读：

最后，再介绍一下主编自己吧。我是谭婧，科技和科普题材作者。围追科技大神，堵截科技公司。生命短暂，不走捷径。个人微信18611208992。还想看我的文章，就关注“亲爱的数据”。