【源头活水】Deep Layer Aggregation - 聚合不同尺度特征图的架构

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—arijin

地址：https://www.zhihu.com/people/arijin

本文将解释Deep Layer Aggregation(https://arxiv.org/pdf/1707.06484.pdf)，这个神经网络架构可以聚合类似ResNet中不同尺度的下采样的特征图。其输出特征图用于分类任务输出时效果要优于ResNet, ResNext和 DenseNet。

现有的聚合网络类似FPN中的跨连（skip connections）太过直接浅显，如图1和图2，DLA中提出了两种用于聚合不同尺度层的架构Iterative Deep Aggregation(IDA)和Hierarchical Deep Aggregation(HDA).这两种结构能够更深层次的结合两个不同尺度的层。

图1 （a）原始的CNN网络，比如VGG；（b）类似FPN，FCN，U-Net的跨连结构

图2 FCN的结构，与图1中的（b）对应

01

为什么跨接（Skip Connections）很重要？

跨其实就是不同层的特征图之间的concatenate操作，例如上图2的下面的箭头代表，将“pool3”，上采样两倍的“pool4”，和上采样4倍的“conv7”给concatenate在一起。

其优势在于：

1）网络可以学习到低语义特征和高语义特征相结合的信息；

2）类似于ResNet较短的跨接，有利于梯度方向传播，可以解决深度网络的浅层梯度消失问题；（ResNet的跨界是求和，这里是concatenation，有一点区别）

3）较长的跨接可以恢复由下采样产生的空间信息损失（由于有Pooling层缘故），这种损失对分割问题的影响特别大，且浅层特征对分割也特别重要，因此需采用跨界；

4）提升收敛时间。这篇文章(https://arxiv.org/pdf/1608.04117.pdf)发现，跨界采用近距离和远距离混搭的方式能够提升收敛时间，对比仅仅采用单级跨界的方式。

本文DLA旨在寻找一种更好的跨接结构

• IDA（迭代深度聚合）

IDA能够更好的融合不同尺度和分辨率的特征图，更深的部分具有更多的语义信息，空间分辨率上更加的粗糙。IDA聚合起始于最浅的、最小的尺度，然后迭代合并更深、更大的尺度。通过这种方式，浅层特征在不同阶段的聚合时得到了细化。图3是其结构。

图3 IDA结构

• HDA（层次）

HDA的结构类似于一颗树，将不同stage和block块结合在一起，结合了浅层和深层的特征，有更丰富的特征组合。 这样做对比IDA的好处是，浅层形成的组合特征可以直接传播到深处，有利于网络保存浅层的组合特征。(e)中将前一层的组合特征直接传递到后续的stage中，更好的利用了组合特征；(f)聚合了更短阶段的特征，且对结构的简化提高了计算效率。图中最上方的箭头路线，即从聚合特征走层传播路径非常短，使得不会造成梯度消失、梯度爆炸问题。

图4 三种HDA的结构

02

DLA网络

DLA网络结合了IDA和HDA，是本文的核心部分。红框为HDA的类树形结构，黄线为IDA的迭代方法。通过通过HDA将数据（图片）的浅层与深层表达进行更好地融合，然后通过IDA不断进行迭代完善得到最终输出。

图5 DLA结构

03

与稠密预测网络对比

稠密的网络预测要求下采样步骤损失的信息尽可能少，避免失真，因此在Dense Predicted Neteork中一次下采样就对应一次聚合，因此可以看到图6中的跨界非常的紧密。而其中的跨接非常的复杂，对比DLA网络来说，同时DLA网络中黄色箭头的路径非常短，使得网络对低层次语义的利用也更好，且网络可以做的更深。

图6

04

DenseNet[2]

同一时期的DenseNet结构上更为直白，被更多地参考利用。其中DenseNet可以认为是替换了ResNet中的Residul Block为Dense Block，增加了更多的跨接。

图7 Dense Block结构

图8 DenseNet结构

[1] Yu, Fisher, et al. "Deep layer aggregation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.

[2] Huang, Gao, et al. "Densely connected convolutional networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！