[IEEE TPAMI 2022] 基于定制化迭代和采样的高效查询黑盒对抗攻击（有源码）
本文是被IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）于2022年4月接收的论文《Query-efficient Black-box Adversarial Attack with Customized Iteration and Sampling》的解读。该论文针对人工智能安全和对抗机器学习中的“黑盒对抗攻击方法”开展研究，提出了新的查询高效的黑盒对抗攻击框架，该框架统一了基于迁移和基于决策的两种攻击策略，并在理论上揭示了对抗噪声与采样方差、噪声压缩单调性、以及决策攻击状态转移函数之间的关系。论文项目地址：https://shiyuchengtju.github.io，论文代码地址：https://github.com/shiyuchengTJU/CISA。
一、研究背景
对抗样本揭示了深度神经网络在对抗噪声环境下的脆弱性[1]。根据攻击方对目标模型了解程度的高低进行分类，对抗攻击可分为白盒攻击与黑盒攻击[2]。在现有的黑盒攻击方法中，基于迁移[3]的攻击往往在参数设置上过拟合于替代模型，而基于决策的攻击[4]由于采用固定的采样与贪心的搜索策略导致查询效率低。为了缓解黑盒对抗攻击的上述问题，本文提出了一个新的高效查询的黑盒对抗攻击框架，将基于迁移的攻击和基于决策的攻击进行统一。在新框架的指导下，本文提出了一种定制化迭代和采样(CISA)的黑盒对抗攻击。CISA通过估计距离邻近决策边界的距离来设置步长，并使用双向迭代轨迹来寻找中间对抗样本。在中间对抗样本的基础上，CISA根据每个像素的噪声敏感性进行定制化采样，进一步压缩噪声，同时对状态转移函数进行松弛以获得更高的查询效率。
二、原理简述
图1 新黑盒攻击框架示意
本文提出的新黑盒攻击框架将现有黑盒攻击方法整理并拆分为不同功能的四个模组：参数调整模组（PAM）、迁移攻击模组（TAM）、噪声压缩模组（NCM）和状态转移模组（STM）。如图1所示，攻击者首先利用PAM自适应设置攻击参数，提高迁移攻击的效率。TAM根据PAM设置的参数在替代模型上生成中间对抗样本。NCM以迁移攻击产生的中间样本作为采样起点，利用剩余的查询次数在STM的辅助下压缩对抗噪声的大小。新的黑盒攻击框架并不需要替代模型。在没有替代模型的情况下，只需将TAM替换为其他产生中间对抗样本的方法，如高斯噪声。所有现有的基于迁移和基于决策的攻击都可以集成到这个通用框架中。
图2 定制化迭代和采样的攻击方法流程示意
在新黑盒攻击框架基础上，本文进一步提出了定制化迭代和采样攻击(CISA)。如图2所示，CISA首先对原始图像添加高斯噪声，通过不断增大高斯分布的方差，找到一个接近原始图像的对抗样本后，根据该对抗样本与原始图像之间的距离来设置后续攻击步长。其次，在TAM中，CISA沿着替代模型损失函数的梯度上升和下降方向进行迭代。对于第三步的NCM，CISA自适应地调整采样过程的方差、均值、步长和掩膜，以提高查询效率。CISA通过历史查询中攻击失败的对抗样本定制采样分布的均值以远离失败率高的查询方向。CISA还根据噪声压缩的过程调整步长定制策略和噪声掩码更新策略。此外，CISA放宽了STM中决策攻击的对抗噪声更新条件，以降低搜索过程陷入局部最优的概率。
图3 高斯步长调整示意
针对现有黑盒攻击方法中手动指定和二分搜索两种参数调整策略的不足 [5]，本文对参数调整模组提出了高斯步长调整方法。如图3所示，高斯步长调整在迁移攻击开始之前对原始图像添加高斯噪声，若添加噪声后实现错分则将当前噪声幅度作为步长设置的依据，否则就进一步增加高斯噪声的方差，直至错分为止。高斯步长搜索相对于手动指定策略能够适应性调整步长，相对于二分搜索可以减小大量查询次数。
图4 双向迭代示意
针对现有迁移攻击方法不考虑对目标模型查询次数的问题[6]，本文对迁移攻击模组提出了迭代轨迹多样化方法。如图4所示，CISA同时从梯度上升和梯度下降两个方向对原始图像添加噪声，双向搜索的设置使迁移攻击更有可能在更近的距离上越过目标模型的决策边界。
图5 定制化采样中方差定制的示意
针对现有决策攻击采用恒定采样分布影响噪声压缩效率，且贪心的噪声压缩过程易陷入局部最优的问题，本文对噪声压缩模组和状态转移模组分别提出定制化采样和状态转移函数松弛方法。如图5所示，定制化采样根据噪声压缩过程的当前噪声、历史失败采样、查询次数和噪声区域分别动态调整采样过程的方差、均值、步长和掩膜，实现噪声的高效压缩。松弛后的状态转移函数则以一定概率接受噪声幅度变大的采样结果，降低搜索过程陷入局部最优可能。
三、主要实验结果与可视化效果
表1 Tiny-ImageNet数据集下黑盒攻击噪声幅度对比
表2 ImageNet数据集下黑盒攻击噪声幅度对比
表3 Cifar-10数据集下黑盒攻击噪声幅度对比
在上表中，每一行表示一种迁移攻击方法及对应的参数调整方法，每一列表示一种决策攻击方法及对应的状态转移方法。可以看出，在相同的查询次数下，使用新的黑盒攻击框架后无论是迁移攻击还是决策攻击的噪声幅度都有明显的下降。CISA的对抗噪声小于所有现有迁移及决策攻击的组。图6对CISA及其他几种攻击方法生成的对抗样本、噪声及噪声幅度进行了可视化。这些结果表明，在新的黑盒对抗攻击框架下，CISA在噪声压缩效率上显著优于现有方法。
四、总结
五、相关资源
论文地址：https://ieeexplore.ieee.org/document/9762566
论文项目地址：https://shiyuchengtju.github.io
参考文献
[1] C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. J. Goodfellow, and R. Fergus, “Intriguing properties of neural networks,” in ICLR, 2013
[2] N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, and A. Swami, “The limitations of deep learning in adversarial settings,” in EuroS&P. IEEE, 2016, pp. 372–387.
[3] I. Goodfellow, J. Shlens, and C. Szegedy, “Explaining and harnessing adversarial examples,” in ICLR, 2015.
[4] J. R. Wieland Brendel and M. Bethge, “Decision-based adversarial attacks: Reliable attacks against black-box machine learning models,” in ICLR, 2018.
[5] A. Kurakin, I. Goodfellow, and S. Bengio, “Adversarial examples in the physical world,” ICLR Workshop, 2017.
[6] J. Chen, M. I. Jordan, and M. J. Wainwright, “Hopskipjumpattack: A query-efficient decision-based attack,” in SP, 2020, pp. 1277–1294.
原文作者:Yucheng Shi, Yahong Han*, Qinghua Hu, Yi Yang, Qi Tian
撰稿：石育澄
免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。
往期精彩内容回顾
[CVPR2022] 端到端的场景文字检测与版面分析统一框架
[AAAI 2022] BROS：一种专注于文本和版面信息的预训练语言模型，用于更好地抽取文档关键信息（有源码）
[CVPR 2022] Mobile-Former: Bridging MobileNet and Transformer
[CVPR 2022] TATT：用于场景文本图像超分辨率的文本注意力网络
[CVPR2022] CG-GAN: 基于部件级感知的one-shot字体生成
[CVPR 2022] 通过字符上下文解耦的开放集文本识别新方法（有源码）
[CVPR 2022] SimAN: 基于生成式模型的文本图像自监督表征学习
[AAAI 2022] 用于场景文本识别的视觉语义辅助文本推理（有源码）
[ACM MM 2021] JokerGAN: 低参数量的具有文本行感知的手写文本生成模型
[CVPR 2022] 基于场景文字知识挖掘的细粒度图像识别算法（有源码）