【源头活水】探究小样本学习中等变性与不变性表示的互补优势

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—AD钙奶

地址：https://www.zhihu.com/people/zhao-qing-23-83

来自CVPR 2021的一篇小样本图像分类文章。

作者：Mamshad Nayeem Rizve, Salman Khan, Fahad Shahbaz Khan, Mubarak Shah

论文：https://arxiv.org/pdf/2103.01315v1.pdf

01

摘要

在许多现实问题中，收集大量的标记样本是不可行的。小样本学习(FSL)是解决这一问题的主要方法，其目标是在有限的样本中快速适应新类别。

FSL任务已经主要通过利用基于梯度的元学习和度量学习方法来解决。

然而，最近的研究已经证明了用一个简单的嵌入网络来表现强大的特征的重要性，它可以优于现有的复杂的FSL算法。

在这项工作中，我们建立在这一见解的基础上，并提出了一种新的训练机制，它同时对一般的几何变换集强制等价和不变性。

在以往的论文研究中，均单独使用了等变或不变性;然而，据我们所知，它们并没有被联合使用。同时优化这两个相对的目标，允许模型共同学习特征，不仅是独立于输入转换，而且特征编码几何转换的结构。这些互补的特征集有助于很好地泛化到只有少量数据样本的新类。我们通过合并一个新的自我监督蒸馏目标来实现额外的改进。我们的大量实验表明，即使没有知识蒸馏，我们所提出的方法也可以在五个流行的基准数据集上优于目前最先进的FSL方法。

02

问题阐述

作者在实验中发现，如果让网络在基类训练时保持“变换不变性（invariant）”，比如旋转不变性，平移不变性等，网络对特征的提取、概括能力会增强，但是泛化到新类上的性能会下降；如果让网络在基类训练时保持“等变性（equivariant）”，也就是说网络知道变换后的图片和变换之前的图片之间发生的是什么变换（对不同的变换形式，比如旋转、平移等可以分类辨别），泛化到新类上的能力就会增强。

1. However, recently it has been shown in [56] that the quick adaptation of the base learner crucially depends on feature reuse. 然而，最近在[56]中已经表明，基础学习器的快速适应至关重要地依赖于特性重用。[56] Aniruddh Raghu, Maithra Raghu, Samy Bengio, and OriolVinyals. Rapid learning or feature reuse? towards understanding the effectiveness of maml. In International Conference on Learning Representations, 2020

2. This brings in an interesting question: How much further can FSL performance be pushed by simply improving the base feature extractor? 这带来了一个有趣的问题:通过简单地改进基本特征提取器，FSL的性能能提高多少?

3. The generalization of these algorithms often relies on the effective design of inductive biases, since they encode our priori preference for a particular set of solutions. 这些算法的推广通常依赖于归纳偏差的有效设计，因为它们编码了我们对特定解集的先验偏好。

4. However, such inductive biases do not provide optimal generalization on FSL tasks and the design of efficient inductive designs for FSL is relatively unexplored. 然而，这种归纳偏差并不能提供FSL任务的最优泛化，并且FSL的高效归纳设计的设计也相对未被探索。

03

方法和细节

基础

1. 不使用episodic training（meta-training）：However, following recent works [73, 15, 10], we do not use an episodic training scheme which allows us to train a single generalizable model that can be efficiently used for any-way, any-shot setting without retraining.

2. 使用基类数据简单训练基础特征提取器，CNN+分类器+CE Loss：we train our base learner on the whole base training set Db in a supervised manner. The role of this base learner is to extract good feature embeddings that can generalize for novel classes.

3. 使用了L2正则项

主要创新点：Injecting Inductive Biases through SSL

We propose to enforce equivariance and invariance to a general set of geometric transformations T by simply performing self-supervised learning (SSL).

虽然作者的故事讲的很复杂，但是方法很简单：既然网络的两种性质“invariant”和“equivariant”有各自的长处和短处，那就想办法把他们结合起来。用的是图像类别损失（最基础的损失，本质是CE Loss）+图像变换类别损失（强化“equivariant”， 本质是CE Loss）+ 对比损失（强化”invariant“， 本质是infoNCE Loss），见下图

Enforcing Equivariance

强化等变特征，类似于让网络知道图片发生了什么变化，作者认为这样可以到新任务上的增强泛化性能。为什么可以增强？

Enforcing Invariance

强化不变特征，让网络将原图及其变换后的图像认定为一类。比较弱的对比损失。正样本就是原图经过变换后的图，负样本来自额外增加的负样本库。

04

实验结果

两个额外的Loss都带来了提升

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！