利用一个样本估计类别数据分布，9行代码提高少样本学习泛化能力

© 作者｜杨朔

学校｜悉尼科技大学博士生

研究方向｜少样本学习，噪音标签学习

介绍一篇我们刚刚发表在 ICLR 2021 Oral 上的一篇少样本学习工作，简单有效。

论文标题：

Free Lunch for Few-shot Learning: Distribution Calibration

论文链接：

https://openreview.net/forum?id=JWOiYxMG92s?

代码链接：

https://github.com/ShuoYang-1998/ICLR2021-Oral_Distribution_Calibration

简介

从极少量样本中学习到泛化性能良好的模型是很困难的，因为极少的样本形成的数据分布往往与真实数据分布相差较大，在偏斜的数据分布上训练模型会导致严重的过拟合现象并严重破坏模型的泛化能力（见图1）。

在本文中我们尝试从数据分布估计的角度去缓解少样本学习中的过拟合现象。我们尝试利用一个样本去估计该类别的整体数据分布，如果该分布估计足够准确，也许可以弥合少样本学习和传统多样本学习的差距。

方法

直接从一个样本中估计整体数据分布是非常困难的，需要很强的先验去约束分布估计的过程。我们观察到如果假设每一个类别的特征都服从高斯分布，那么相似类别的分布统计量相似度非常高，如表1。

从直观的角度理解，一个类别的 mean 代表该类别的 general appearance，variance 代表该类别某属性的变化范围（颜色、形状、姿势等）。而相似的类别（如猫和老虎）具有相似的整体外观和相似的属性变化范围。

受此启发，我们提出了通过迁移基类（base class）的分布统计量的方式对少样本类别的数据分布做‘矫正’（calibration）。具体来说，我们首先为每一个 base class i 计算一个 mean 和 covariance：

计算好的 和 储存起来当作 base class 分布先验。然后在进行少样本分类时我们利用 base class 的分布先验去修正少样本类别的数据分布：

得到修正后的少样本类别的分布 和 后，我们便可以从修正后的分布中直接采样：

然后利用采样得到的数据和 support set 共同训练分类器：

至此，该算法结束。流程如图：

实验

我们的算法无需任何可训练参数，可以建立在任何已有的特征提取器和分类器之上，并极大的提高模型的泛化能力。代码已开源，核心代码只有 9 行（evaluate_DC.py 中的第 10-19 行）。我们的方法搭配最简单的线性分类器便可以达到非常高的 1-shot 分类性能。实验结果如图：

我们分布估计的可视化如图：

总结

在本工作中我们思考了少样本学习和多样本学习的核心差距，并提出通过分布矫正（估计）的方式弥合这种差距。在该工作的后续期刊拓展版本中我们从generalization error bound的角度为‘基于数据分布估计的少样本学习’这一类方法建立了理论框架，并证明了当数据分布足够准确时，少样本学习和多样本学习的泛化误差等价。

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。