是时候回顾一下这些经典paper了 | AI阅读研究所·第2期
这是AI阅读研究所栏目推出的第2篇文章，本栏目将持续为大家甄选出有价值的内容，供大家学习。Enjoy~
策划 / 晋阳
编辑 / 不灵叔
上周霸屏的Hinton大神放言：要把反向传播全部抛弃，重起炉灶！
然而，如今深度学习能够取得这样的成功，必是得益于上一波神经网络浪潮的推动。但是深度学习也有泡沫，存在无法复现的情况，但经大浪淘沙，留下的经典之作历久弥新。无论过去多久，这些文章不但富有可靠性、真实性，还能让读者感受到学术之美，具有很高的阅读价值。
1/
《Learning representations by back-propagating errors》
# 神经网络理论
“该文是Hinton 1986年提出的，目前接近10000的引用次数。在深度学习泛滥的今天，back-propogation已经是作为一种标准技术使用了，但是在当年，神经网络的有效训练方法折磨着无数的研究者。然而很遗憾的是，现在的大部分深度学习论文都不再引用他们实验必定会用到的back-propogation，更遗憾的是，很多人连back-propotation具体运行原理都不清楚。”
P.S. 刚推荐完这篇论文，Hinton大神就说要抛弃back-propogation并且找到了新的方法，理由是生物领域并没有找到类似机理。然而back-propogation本质就是求导，监督学习方法我还没见过能绕过求导的。怎么说呢，理想是好的，我个人觉得新方法应该也是绕不过求导本质的。
文章地址：http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf
【推荐人】叶腾琪 都柏林城市大学Ph.D
2/
《Distilling the Knowledge in a Neural Network》
# 深度学习 #知识蒸馏 #网络压缩
“训练深度学习分类网络时，通常所采用的‘one-hot’标签扭曲了类别之间的真实距离。一个结构优良网络输出的预测值能够在一定程度上矫正这种距离扭曲，而知识蒸馏则将其以软标签的形式传授给简单网络，提高简单网络的泛化能力。Hinton开辟了深度学习的知识蒸馏方法，原本将其用在模型压缩、模型融合等方面。然而，它的机理中是否仍有未揭开的奥秘，探索仍未停止。例如，近期的《Deep Mutual Learning》（https://arxiv.org/abs/1706.00384）的实验结果发现，两个一模一样的模型也能互相传授蒸馏后的知识并获得共同提升。这个有趣的提升，是否仅仅得益于不同初始化模型的融合效果，还是另有其它原因呢。相信读者在重读Hinton的这篇paper时，会有新的启发。”
文章地址：https://arxiv.org/pdf/1503.02531.pdf
【推荐人】孙奕帆 清华大学 Ph.D
3/
《Approximation Capabilities of Multilayer Feedforward Networks》
# 神经网络理论
“在深度学习蓬勃发展的今天，不知道你是否想过，我们为什么没有大力发展“宽度学习“呢？该文提出了一个定理 universal approximation theorem，也就是说，只含有一层隐藏层的有限神经元网络可以逼近在实数集上紧子空间的连续函数。做学术，要有独立思考能力。不能盲信研究热点，也不能把之前的研究成果当作理所当然。在此高能预警：阅读该文需要比较扎实的数学功底。虽然最后“宽度学习“没有发展起来，但是前人给我们留下的成果仍然值得思考。”
文章地址：http://zmjones.com/static/statistical-learning/hornik-nn-1991.pdf
【推荐人】叶腾琪 都柏林城市大学 Ph.D
4/
《Curriculum Learning》
# 课程学习 #学习策略
“这篇论文是Yoshua Bengio一作的paper。文章介绍了课程学习，一个循序渐进的方式去训练深度学习网络，主要调节了sampling的顺序。把容易学习的样本先学，把hard的样本后学。像人类一样，由浅入深训练神经网络。 实验主要跑了几个toy dataset（Bengio爷一贯风格）。”
文章地址：https://ronan.collobert.com/pub/matos/2009_curriculum_icml.pdf
【推荐人】郑哲东 悉尼科技大学 Ph.D
5/
《Imagenet classification with deep convolutional neural networks》
# 图像分类 #深度CNN #AlexNet
“Alex 在2012年的文章，被认为是深度学习上的突破性进展。图像分类的必读文章。”
文章地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
【推荐人】Jackie Chen 名古屋大学 Ph.D
6/
《Decoupled neural interfaces using synthetic gradients》
# 深度学习模型 #神经网络锁定 #合成梯度
“来自deepmind的2016年论文，介绍了基于合成梯的耦合神经接口（Decoupled neural interfaces using synthetic gradients），摒弃传统的顺序同步更新思维，通过预测梯度，异步更新。首先其思想就值得学习，目前深度学习多瓶颈，就需要创新的甚至是颠覆性多思维出现。”
文章地址：https://arxiv.org/pdf/1608.05343.pdf
【推荐人】Jackie Chen 名古屋大学 Ph.D
在过去数十期的「学术青年分享会」中，许多学术青年解读了最近在CVPR、ICCV、NIPS等学术会议发表的论文。如果你想听以上经典文章的解读，欢迎参与投票，我们将邀请学者对其进行精彩讲解。（往期解读回顾查看途径：公众号底部菜单 公开课 → 往期回顾。）
点击阅读原文，查看第一期推荐