干货|(TensorFlow)完全可微分的 深度神经网络决策森林（附github等多种资源）

选自：Github

翻译：林一鸣

完全可微分的深度神经决策森林林

这个代码仓库⽤用TensorFlow实现了了简单修改版的深度神经决策森林林 [Kontschieder等]。该修改允许决策节点 和叶节点的联合优化，这加快了了训练（还没有⽐比较加快了了多少）。

动机：

ICCV 2015上的佳论⽂文，深度神经决策森林林，提出了了⼀一个伟⼤大的⽅方式来把⼀一个决策森林林融⼊入神经⽹网络。在 优化（训练）期间，终端（叶）节点必须在每个遍历之后被更更新。 这种交替优化⽅方案通常⽐比联合优化慢，因 为未被优化的其他变量量减慢了了优化。 这个代码仓库只是⼀一个对⼀一下概念的验证：

1我们可以使⽤用叶节点的参 数化公式训练决策节点和叶节点。

2我们可以很容易易地在符号数学库中实现这个想法

公式化：

叶节点概率可以使⽤参数化。即使得是在中的向量量，其中N是类的数量量。 然后对执⾏行行softmax操作会得出：

这总是在单纯形。因此，我们可以没有任何约束地参数化叶节点，并且可以计算关于的梯度。这允许我们联合优化叶节点和决策节点。

实验：

我测试了了⼀一个简单的（3卷积+ 2全连接）⽹网络的实验。 在MNIST上，简单的Deep-NDF在100个训练时间后 在测试集上的精度为99.5％。尽在10个遍历，它就达到99.1％，100个遍历后，它达到99.5％。

Slides：

https://docs.google.com/presentation/d/1Ze7BAiWbMPyF0ax36D-aK00VfaGMGvvgD_XuANQW1gU

Paper：

http://www.cv-foundation.org/openaccess/content_iccv_2015/html/Kontschieder_Deep_Neural_Decision_ICCV_2015_paper.html

基于caffe的neural decision forest，、新算法支持结构化的distribution prediction。代码等文章录用了立马开源，arXiv地址：https://arxiv.org/abs/1702.06086

点击原文链接跳转Github

热门文章推荐