【综述专栏】课程学习经典论文解读-自步学习

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

作者：知乎—joey chang

地址：https://www.zhihu.com/people/joey-chang-74

本文介绍课程学习早期经典论文-自步学习，该论文是自步学习的奠基之作，非常值得一读，细细品味。

文章链接：http://ai.stanford.edu/~koller/Papers/Kumar+al:NIPS10.pdf

作者单位：斯坦福大学 计算机学院

01

引入

自步学习（Self-Paced Learning，SPL）就是按照自己设定的步伐进行学习。本文在09年Bengio提出的课程学习（Curriculum Learning，CL）的基础上进行改进。CL受到人类认知过程启发——人在学习的时候一般先学习简单的，然后再循序渐进到学习相对难的部分。但Bengio提出的CL是根据某种固定先验，将样本难易程度排好序之后再输入到模型中。而SPL与CL最大的不同之处在于样本调度可直接嵌入到模型，是动态且可优化的过程。

自步学习 Motivation

02

思路和方法

基本思路是利用损失大小与难易程度之间的对偶关系进行对所学样本的加权。这种加权格式类似于引入隐含变量后的EM算法，使得模型对于数据分布的学习更加稳健。

给定  学习参数  使得

隐变量模型

SPL通过在损失函数中引入变量  来表示样本是否被选择：

这里  是正则化项，  是损失函数。 取值是  ，当  时，表示难样本；当  时，表示简单样本。  是一个权重，控制样本数量。当  较大时，  较小，允许非零的  数量较多，即允许模型中难的样本数减少；反之，当  较小时，  较大，允许非零的  数量较少，即允许模型中难的样本数增加。

03

实验部分

目标检测迭代结果可视化

目标检测分类精度

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“综述专栏”历史文章

更多综述专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！