“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
地址：https://zhuanlan.zhihu.com/p/361180249
大家可能还记得去年 奥巴马竟被「去马赛克AI」洗白 的旧闻。在经过去马赛克AI「PLUSE」的修复之后，模糊的奥巴马被还原成了一张白人的脸。
奥巴马被AI复原成了白人
当时这件事在推特上被炒到如火如荼，与此同时我们也在进行着一项与「减少偏见」（debias）相关的研究。今天就来介绍一下我们这项发表在ICLR 2021的工作 Shape-Texture Debiased Neural Network Training Yingwei Li @李英伟 , Qihang Yu , Mingxing Tan , Jieru Mei , Peng Tang , Wei Shen , Alan Yuille , Cihang Xie @Cihang Xie https://arxiv.org/pdf/2010.05981.pdf https://github.com/LiYingwei/ShapeTextureDebiasedTraining
01
如果在CV领域提到「偏见」（bias）这个词，绕不开的工作是： ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness 。这篇论文提到在ImageNet这个数据集上训练得到的模型会偏向于只「看到」图片的纹理。例如下图（c）所示，当给CNN看一只披着大象纹理的猫猫，CNN会认为是一只大象。 02
我们的工作旨在解决上述问题，由于comunity一般在「形状」和「纹理」这一对因素上研究较多，我们也选取它们来进行研究。首先我们重新研究了形状和纹理这两要素在计算机视觉任务中的作用。通过观察图3热度图可知，偏向形状的模型（shape model）和偏向纹理的模型（texture model）会关注图片的不同区域。而图4告诉我们，两个模型的强项在分类不同类别的物体上——偏向形状的模型可以更好的识别一些人造物（例如纪念碑，ATM机等），而偏向纹理的模型则可以更好地识别像珊瑚，咖啡泡沫等自然形成的纹理。 甚至有些图片，模型单凭形状或者纹理都无法得到正确的分类。例如下图中的「毛皮大衣」，单单凭借「形状」会被当做「披肩」，单单凭借「纹理」会被当做「埃及猫」。对于这种情况，同时去看形状和纹理就变得很重要了。 根据上述分析，我们可以猜测：既不会偏向形状，又不会偏向纹理，而是综合形状和纹理两方面的信息的模型，才是好模型。 03
那么，如何可以获得这样一个（既不只看形状，又不只看纹理，而是两者都看的）模型呢？ 我们的方法出奇的简单：如下图所示，我们把形状（如，大猩猩的形状）和纹理（如，柠檬的纹理）解耦，生成新的图片（如，有着柠檬纹理的大猩猩）作为新的训练数据。并且同时提供形状和纹理两个标签作为监督信息。 04
通过我们的方法训练得到的模型，在准确度（ImageNet，第一列“clean”）和鲁棒性（ImageNet-A，ImageNet-C，Stylized-ImageNet，对抗FGSM攻击）上都有明显的提高。 相比于其他SOTA的数据增强方法，我们的训练方法可以在上述数据集，即ImageNet（IN），ImageNet-A（IN-A），ImageNet-C（IN-C），Stylized-ImageNet（S-IN），和对抗FGSM攻击，上有一致的提高。 相比于上述结果上的提升（每一篇paper都会说自己性能好2333），下面的实验更加有趣。如下图所示，我们的训练方法（Debiased）可以让模型自动的适应不同的数据集，无论是偏向形状的数据集（ImageNet-Sketch，ImageNet-R），还是偏向纹理的数据集（Kylberg Texture，Flicker Material）。
05
我们的形状-纹理去偏见的训练方法帮助计算机视觉模型同时提升准确性和健壮度。虽然我们用形状和纹理这一对线索来研究如何去除偏见这样一个问题，但是我们的方法不仅仅限于形状和纹理，也有潜力被用在各种各样的任务上。例如我实验室余启航同学 一篇做matting的paper 就用到了我们这里介绍的方法的insight，我自己也有一篇关于无人车相关视觉任务的论文（还没有放出来）也用到了这里方法的insight。希望我们的方法在未来可以帮助到更多的任务，训练出更好的模型～ 最后欢迎有想法的小伙伴来交流
本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
“源头活水”历史文章
更多源头活水专栏文章， 请点击文章底部“阅读原文 ”查看
分享、在看，给个三连击呗！