[IEEE TPAMI 2022] 基于定制化迭代和采样的高效查询黑盒对抗攻击（有源码）

本文是被IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）于2022年4月接收的论文《Query-efficient Black-box Adversarial Attack with Customized Iteration and Sampling》的解读。该论文针对人工智能安全和对抗机器学习中的“黑盒对抗攻击方法”开展研究，提出了新的查询高效的黑盒对抗攻击框架，该框架统一了基于迁移和基于决策的两种攻击策略，并在理论上揭示了对抗噪声与采样方差、噪声压缩单调性、以及决策攻击状态转移函数之间的关系。论文项目地址：https://shiyuchengtju.github.io，论文代码地址：https://github.com/shiyuchengTJU/CISA。

一、研究背景

对抗样本揭示了深度神经网络在对抗噪声环境下的脆弱性[1]。根据攻击方对目标模型了解程度的高低进行分类，对抗攻击可分为白盒攻击与黑盒攻击[2]。在现有的黑盒攻击方法中，基于迁移[3]的攻击往往在参数设置上过拟合于替代模型，而基于决策的攻击[4]由于采用固定的采样与贪心的搜索策略导致查询效率低。为了缓解黑盒对抗攻击的上述问题，本文提出了一个新的高效查询的黑盒对抗攻击框架，将基于迁移的攻击和基于决策的攻击进行统一。在新框架的指导下，本文提出了一种定制化迭代和采样(CISA)的黑盒对抗攻击。CISA通过估计距离邻近决策边界的距离来设置步长，并使用双向迭代轨迹来寻找中间对抗样本。在中间对抗样本的基础上，CISA根据每个像素的噪声敏感性进行定制化采样，进一步压缩噪声，同时对状态转移函数进行松弛以获得更高的查询效率。  

二、原理简述

图1 新黑盒攻击框架示意

本文提出的新黑盒攻击框架将现有黑盒攻击方法整理并拆分为不同功能的四个模组：参数调整模组（PAM）、迁移攻击模组（TAM）、噪声压缩模组（NCM）和状态转移模组（STM）。如图1所示，攻击者首先利用PAM自适应设置攻击参数，提高迁移攻击的效率。TAM根据PAM设置的参数在替代模型上生成中间对抗样本。NCM以迁移攻击产生的中间样本作为采样起点，利用剩余的查询次数在STM的辅助下压缩对抗噪声的大小。新的黑盒攻击框架并不需要替代模型。在没有替代模型的情况下，只需将TAM替换为其他产生中间对抗样本的方法，如高斯噪声。所有现有的基于迁移和基于决策的攻击都可以集成到这个通用框架中。   

图2 定制化迭代和采样的攻击方法流程示意

在新黑盒攻击框架基础上，本文进一步提出了定制化迭代和采样攻击(CISA)。如图2所示，CISA首先对原始图像添加高斯噪声，通过不断增大高斯分布的方差，找到一个接近原始图像的对抗样本后，根据该对抗样本与原始图像之间的距离来设置后续攻击步长。其次，在TAM中，CISA沿着替代模型损失函数的梯度上升和下降方向进行迭代。对于第三步的NCM，CISA自适应地调整采样过程的方差、均值、步长和掩膜，以提高查询效率。CISA通过历史查询中攻击失败的对抗样本定制采样分布的均值以远离失败率高的查询方向。CISA还根据噪声压缩的过程调整步长定制策略和噪声掩码更新策略。此外，CISA放宽了STM中决策攻击的对抗噪声更新条件，以降低搜索过程陷入局部最优的概率。   

图3 高斯步长调整示意

针对现有黑盒攻击方法中手动指定和二分搜索两种参数调整策略的不足 [5]，本文对参数调整模组提出了高斯步长调整方法。如图3所示，高斯步长调整在迁移攻击开始之前对原始图像添加高斯噪声，若添加噪声后实现错分则将当前噪声幅度作为步长设置的依据，否则就进一步增加高斯噪声的方差，直至错分为止。高斯步长搜索相对于手动指定策略能够适应性调整步长，相对于二分搜索可以减小大量查询次数。 

图4 双向迭代示意

针对现有迁移攻击方法不考虑对目标模型查询次数的问题[6]，本文对迁移攻击模组提出了迭代轨迹多样化方法。如图4所示，CISA同时从梯度上升和梯度下降两个方向对原始图像添加噪声，双向搜索的设置使迁移攻击更有可能在更近的距离上越过目标模型的决策边界。 

图5 定制化采样中方差定制的示意

针对现有决策攻击采用恒定采样分布影响噪声压缩效率，且贪心的噪声压缩过程易陷入局部最优的问题，本文对噪声压缩模组和状态转移模组分别提出定制化采样和状态转移函数松弛方法。如图5所示，定制化采样根据噪声压缩过程的当前噪声、历史失败采样、查询次数和噪声区域分别动态调整采样过程的方差、均值、步长和掩膜，实现噪声的高效压缩。松弛后的状态转移函数则以一定概率接受噪声幅度变大的采样结果，降低搜索过程陷入局部最优可能。

在新的黑盒对抗攻击框架和CISA攻击方法的基础上，本文还对迁移攻击和决策攻击进行了理论分析。理论分析包括决策攻击的采样分布与噪声压缩效率的关系、噪声压缩的单调性以及决策攻击转移函数对收敛性的影响，为后续的黑盒对抗攻击设计提供了理论依据。

三、主要实验结果与可视化效果

本文在ImageNet，Tiny-ImageNet及Cifar-10三种图像分类数据集上对新的黑盒对抗攻击框架及CISA进行了验证。在表1、表2及表3中，本文将现有的基于转移的攻击和基于决策的攻击嵌入到新的黑盒对抗攻击框架的相应模组中，以衡量不同方法在有限查询数下的黑盒攻击能力。 

表1 Tiny-ImageNet数据集下黑盒攻击噪声幅度对比 

表2 ImageNet数据集下黑盒攻击噪声幅度对比

表3 Cifar-10数据集下黑盒攻击噪声幅度对比

图6 不同黑盒攻击方法对抗样本、噪声及噪声幅度可视化

在上表中，每一行表示一种迁移攻击方法及对应的参数调整方法，每一列表示一种决策攻击方法及对应的状态转移方法。可以看出，在相同的查询次数下，使用新的黑盒攻击框架后无论是迁移攻击还是决策攻击的噪声幅度都有明显的下降。CISA的对抗噪声小于所有现有迁移及决策攻击的组。图6对CISA及其他几种攻击方法生成的对抗样本、噪声及噪声幅度进行了可视化。这些结果表明，在新的黑盒对抗攻击框架下，CISA在噪声压缩效率上显著优于现有方法。

四、总结

本文提出了有限查询场景下的黑盒对抗攻击框架，以及在此框架基础上的高效查询黑盒对抗攻击CISA。CISA在参数调整模组中使用高斯步长调整自适应设置迁移攻击的步长，在迁移攻击模组中结合梯度上升和下降使迭代轨迹多样化。在噪声压缩模组中，CISA根据当前对抗噪声调整采样分布的方差和均值，并定制步长和掩膜，实现有效的噪声压缩。在对噪声压缩单调性理论分析的基础上，CISA对状态转移函数进行松弛以加速噪声压缩。本文在3种图像分类数据集上的实验验证了黑盒对抗攻击框架在提高黑盒对抗攻击查询效率方面的可行性和通用性，并验证了CISA能够生成比现有迁移攻击和决策攻击方法L2范数下噪声幅度更小的对抗样本。  

五、相关资源

论文地址：https://ieeexplore.ieee.org/document/9762566

论文项目地址：https://shiyuchengtju.github.io

论文代码地址：https://github.com/shiyuchengTJU/CISA

参考文献

[1] C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. J. Goodfellow, and R. Fergus, “Intriguing properties of neural networks,” in ICLR, 2013

[2] N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, and A. Swami, “The limitations of deep learning in adversarial settings,” in EuroS&P. IEEE, 2016, pp. 372–387.

[3] I. Goodfellow, J. Shlens, and C. Szegedy, “Explaining and harnessing adversarial examples,” in ICLR, 2015.

[4] J. R. Wieland Brendel and M. Bethge, “Decision-based adversarial attacks: Reliable attacks against black-box machine learning models,” in ICLR, 2018.

[5] A. Kurakin, I. Goodfellow, and S. Bengio, “Adversarial examples in the physical world,” ICLR Workshop, 2017.

[6] J. Chen, M. I. Jordan, and M. J. Wainwright, “Hopskipjumpattack: A query-efficient decision-based attack,” in SP, 2020, pp. 1277–1294.

---

原文作者:Yucheng Shi, Yahong Han*, Qinghua Hu, Yi Yang, Qi Tian

撰稿：石育澄

编排：高 学

审校：连宙辉

发布：金连文

---

免责声明：（1）本文仅代表撰稿者观点，撰稿者不一定是原文作者，其个人理解及总结不一定准确及全面，论文完整思想及论点应以原论文为准。（2）本文观点不代表本公众号立场。

往期精彩内容回顾

征稿启事：本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果，欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布 (联系Email: [e-mail])。

扫码关注，获取最新OCR资讯