【综述专栏】小样本学习中的自监督元素

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

来源：知乎—嬉嬉皮

地址：https://zhuanlan.zhihu.com/p/363959407

本文是笔者周末翻论文时做的一点概览性的总结，关注一下近年小样本学习中的embedding function会用到哪些自监督技巧。

所以笔者把本文主题定为：

Self-supervised in Few-shot Learning

01

SELF-SUPERVISED LEARNING FOR FEW-SHOT IMAGE CLASSIFICATION

https://arxiv.org/pdf/1911.06045.pdf

所采用自监督方法：Augmentaed Multiscale Deep InfoMax (AMDIM) [1]和NCE loss：

下图Stage A中的箭头展示了自监督策略：最大化箭头两端的互信息。箭头两端连接着Local Feature和Global Feature。

02

Boosting Few-Shot Visual Learning with Self-Supervision

https://openaccess.thecvf.com/content_ICCV_2019/papers/Gidaris_Boosting_Few-Shot_Visual_Learning_With_Self-Supervision_ICCV_2019_paper.pdf

所采用自监督方法：Rotation classifier with the self-supervised loss:

03

Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?

https://arxiv.org/pdf/2003.11539.pdf

所采用自监督方法：Sequential self-distillation：

思路如下图：我蒸馏我自己。第K次Generation蒸馏第K-1次Generation。

04

Charting the Right Manifold: Manifold Mixup for Few-shot Learning

https://openaccess.thecvf.com/content_WACV_2020/papers/Mangla_Charting_the_Right_Manifold_Manifold_Mixup_for_Few-shot_Learning_WACV_2020_paper.pdf

所采用自监督方法：Rotation Loss and Exemplar Loss:

Rotation Loss:

Exemplar Loss:

05

Self-supervised Knowledge Distillation for Few-shot Learning

https://arxiv.org/pdf/2006.09785.pdf

所采用自监督方法：Rotation Loss 和知识蒸馏

整体思路如下图所示，Generation Zero利用Rotation Loss和Cross-entropy Loss学习特征。Generation One利用知识蒸馏和欧式距离使rotation后的样本更加接近其原始样本点。

Generation Zero:

Generation One:

参考文献

1.Philip Bachman, R Devon Hjelm, and William Buchwalter, “Learning representations by maximizing mutual information across views,” arXiv preprint arXiv:1906.00910, 2019.

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“综述专栏”历史文章

更多综述专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！