资源|2017年十篇Deep learning精华paper荐读

全球人工智能

---

来源：arxiv  编辑： 王健

1、Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models

来自Google，BN原作者的论文，batch renorm，在训练的时候引入两个新的变换参数r和d，降低了对minibatch的dependence，以解决BN在处理batchsize小或者样本非iid情况下所存在的问题。

arxiv：https://arxiv.org/abs/1702.03275

2、Deep Forest: Towards An Alternative to Deep Neural Networks

摘要

在这篇论文里，我们提出了 gcForest，这是一种决策树集成方法（decision tree ensemble approach），性能较之深度神经网络有很强的竞争力。深度神经网络需要花大力气调参，相比之下 gcForest 要容易训练得多。实际上，在几乎完全一样的超参数设置下，gcForest 在处理不同领域（domain）的不同数据时，也能达到极佳的性能。gcForest 的训练过程效率高且可扩展。在我们的实验中，它在一台 PC 上的训练时间和在 GPU 设施上跑的深度神经网络差不多，有鉴于 gcForest 天然适用于并行的部署，其效率高的优势就更为明显。此外，深度神经网络需要大规模的训练数据，而 gcForest 在仅有小规模训练数据的情况下也照常运转。不仅如此，作为一种基于树的方法，gcForest 在理论分析方面也应当比深度神经网络更加容易。

arxiv：https://arxiv.org/abs/1702.08835

3、Deep-HiTS: Rotation Invariant Convolutional Neural Network for Transient Detection

旋转不变CNN用于星系形态预测

arxiv:https://arxiv.org/abs/1701.00458

code:https://github.com/guille-c/Deep-HiTS

4、Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction

首创性的将时空数据与深度学习结合起来，利用时空深度残差网络用于预测城市人流问题。

pdf:https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/ST-ResNet-AAAI17-Zhang.pdf

github:https://github.com/lucktroy/DeepST/tree/master/scripts/papers/AAAI17

5、DeepStack: Expert-Level Artificial Intelligence in No-Limit Poker

摘要

近些年来，人工智能领域出现了很多突破，其中游戏往往被用作重要的里程碑。过去实现那些成功的游戏的一个常见的特征是它们都具有完美信息（perfect information）的性质。扑克是一个典型的不完美信息（imperfect information）游戏，而且其一直以来都是人工智能领域内的一个难题。在这篇论文中，我们介绍了 DeepStack，这是一种用于扑克这样的不完美信息环境的新算法。它结合了回归推理（recursive reasoning）来处理信息不对称性，还结合了分解（decomposition）来将计算集中到相关的决策上，以及一种形式的直觉（intuition）——该直觉可以使用深度学习进行自我玩牌而自动学习到。在一项涉及到 44000 手扑克的研究中，DeepStack 在一对一无限制德州扑克（heads-up no-limit Texas hold'em）上击败了职业扑克玩家。这种方法在理论上是可靠的，并且在实践中也能得出比之前的方法更难以被利用的策略。

arxiv:https://arxiv.org/abs/1701.01724

6、DyNet: The Dynamic Neural Network Toolkit

这个框架是由CMU推出的一款深度学习框架，最大的特点是动态性，尤其擅长解决自然语言处理相关问题，c++实现，python封装。

arxiv:https://arxiv.org/abs/1701.03980

code:https://github.com/clab/dynet

7、Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees

摘要

随着计算机硬件水平的进步和算法效率的提升，K 近邻（K-Nearest neighbor/kNN）法近年来已经越来越受到欢迎。如今机器学习模型有很多算法可以选择，每一种都有其自身的长处与短处。其中所有基于 K 近邻（kNN）的方法都要求在样本间有一个优良的表征（representation）和距离度量（distance measure）。我们引进了可微分界树（differentiable boundary tree）这一新方法，该方法能学习深度 K 近邻的表征（Deep kNN representations）。我们的方法建立在最近提出来的边界树（boundary tree）算法之上，该算法能进行高效的最近邻分类、回归和检索。通过将树中的遍历建模作为随机事件（stochastic events），我们能构建与树预测（tree's predictions）相关联的可微分成本函数。通过使用深度神经网络转换（transform）数据还有沿树进行反向传播，模型就能学习 K 近邻法的优良表征。我们证明了该方法能学习合适的表征，并通过清晰的可解释架构提供一个非常高效的树。

arxiv:https://arxiv.org/abs/1702.08833

8、Learning to Remember Rare Events

摘要

尽管近来已经取得了一些进步，但记忆增强的深度神经网络（memory-augmented deep neural network）在终身学习（life-long learning）和一次性学习（one-shot learning）上的能力还很有限，在记忆罕见事件（rare events）上的能力尤其如此。我们提出了一种用于深度学习的大规模终身记忆模块（large-scale life-long memory module）。这种模块利用了快速最近邻算法（fast nearest-neighbor algorithms）来提升效率，并且因此可以扩展到很大的记忆规模。除了最近邻查询（nearest-neighbor query），这种模块还是完全可微分的，并且可以进行无需任何监督的端到端训练。它是以一种终身方式（life-long manner）进行运作的，即在训练过程中无需重置（reset）。我们的记忆模块可以被轻松地添加到一个监督式神经网络的任何部分。为了显示其这种能力，我们将其添加到了多种网络中——从在图像分类上测试的简单卷积网络到深度序列到序列（deep sequence-to-sequence）和循环卷积（recurrent-convolutional）模型。在所有这些案例中，增强过的网络都获得了记忆能力并且可以进行终身一次性学习（life-long one-shot learning）。我们的模块能够记忆成千上万个步骤之前所见过的训练样本，并且可以成功地在它们的基础上进行泛化。我们在 Omniglot 数据集上实现了一次性学习的新的当前最佳表现，并且我们也首次在一个大规模机器翻译任务中的循环神经网络上演示了终身一次性学习。

pdf:https://openreview.net/pdf?id=SJTQLdqlg

tensorflow:https://github.com/tensorflow/models/tree/master/learning_to_remember_rare_events

9、OptNet: Differentiable Optimization as a Layer in Neural Networks.

深度网络可微优化(二次规划)层——用可微层神经网络玩转数独

arxiv：https://arxiv.org/abs/1703.00443

code:https://github.com/locuslab/optnet

10、PathNet: Evolution Channels Gradient Descent in Super Neural Networks

摘要

如果多个用户训练同一个巨型神经网络（giant neural network），同时允许参数复用，并且不会遗忘太多东西，则这对通用人工智能而言将是高效的。PathNet 是在这个方向上迈出的第一步。它是一个将代理嵌入到神经网络中的神经网络算法，其中代理的任务是为新任务发现网络中可以复用的部分。代理是网络之中的路径（称为 views），其决定了通过反向传播算法的前向和后向通过而被使用和更新的参数的子集。在学习过程中，锦标赛选择遗传算法（tournament selection genetic algorithm）被用于选择用于复制和突变的神经网络的路径。路径适配（pathway fitness）即是通过成本函数来度量的自身的表现。我们实现了成功的迁移学习；固定了从任务 A 中学习的路径的参数，并据此再进化出了用于任务 B 的新路径，这样任务 B 要比从头开始或 fine-tuning 学习得更快。任务 B 中进化的路径会复用任务 A 中进化出的最优路径的一些部分。在二元的 MNIST、CIFAR 和 SVHN 监督学习分类任务和一系列的 Atari、Labyrinth 强化学习任务上，我们都实现了正迁移，这表明 PathNet 在训练神经网络上具有通用性应用能力。最后，PathNet 也可以显著提高一个平行异步强化学习算法（A3C）的超参数选择的稳健性。

arxiv：https://arxiv.org/abs/1701.08734

热门文章推荐