【源头活水】小样本学习中的比对学习

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—AD钙奶

地址：https://www.zhihu.com/people/zhao-qing-23-83

来自AAAI 2021的一篇小样本图像分类的文章。

作者：Chen Liu, Li Zhang, Chengming Xu, Siqian Yang, Yanwei Fu, Jilin Li, Chengjie Wang

代码：https://github.com/corwinliu9669/Learning-a-Few-shot-Embedding-Model-with-Contrastive-Learning

论文：https://www.aaai.org/AAAI21Papers/AAAI-2249.LiuC.pdf

01

核心方法思路

1. 对于人来说，通过一部分即可以识别图像，以此进行对比学习正负样本设计。

2. Critically, the inductive bias of source classes may inevitably introduce unexpected information or correlation between instances and classes. 关键的是，源类的归纳偏差可能不可避免地引入意外的信息或实例和类之间的相关性。
例如，如果马的图像与草高度相关，则在此类数据上学习的模型可能倾向于将那些视觉上类似于马图像的目标图像与草相关。作者通过混合来自不同图片的补丁来减轻这个问题，以强制网络来学习更多的分离信息。

02

实现细节

1. 训练时，为query构建对比对，相同label的support作为正样本，不同的作为负样本
   
2. 训练时对比损失（权重0.5）和“原有的监督损失（权重1）”结合（相加）训练。对比损失是每个query的infoNCE损失的均值，每个query的infoNCE损失：

03

主要创新点

1. 训练时加入对比损失，图1左

1. support进行random block。For support images, they are regarded as matching template. So we try to keep them intact. For dropping part of its information, we apply random masks to the support images. This process is illustrated in Fig.1. Using this modification, the support images are harder to recognize than original ones. We call this modification random block. 对于support图像，将其视为匹配模板。所以尽量保持它们完好无损。为了去除部分信息，对支持图像进行随机掩模。该过程如图1所示。使用这种修改，支持图像比原始图像更难识别。作者称之为修改随机块。

2. query分成小块。For query images, we try to match them with support images, we hope that we can get a correct match even if we only have part of the query images. 对于查询图像，尝试将其与支持图像进行匹配，希望即使只有部分查询图像也能得到正确的匹配。

3. 最终的对比损失变成了：

2. 通过PatchMix增强对比学习，图1右

对于FSL，要求在目标类（与训练时的基类是不交叉的）进行泛化。在训练阶段，源类的数据偏差可能会对泛化产生不利影响。数据偏差可能是由于学习不正确的像素之间的相关性造成的。例如，某些特定类的背景可能在颜色或纹理上相似。神经网络可能只是记住了这些“无用”特性，而忽略了目标本身的一些特征。为了缓解这个问题，作者提出可以混合一些补丁。例如，将patch混合后，图像变得更加多样化，一些简单的关联不再有效。然后网络可以学习一些真正的规则。只对query进行增强，见图一右

04

实验结果

三个策略都带了了性能的提升，漂亮的消融实验结果：

图像的相似响应区域热图也更加集中在物体上

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！