SSN：轻量级姿态估计网络
The following article is from yuanCruise Author yuanCruise
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~
来源：yuanCruise @ 微信公众号
利用特征shift操作，增强模块的感受野，使得在轻量级的网络下能够实现较好的姿态估计。
论文地址：https://arxiv.org/pdf/1904.03141.pdf
网络整体概述
现有的基于姿态估计的方式，是通过逐像素分类实现的，这种方式是考虑不到大范围的空间信息的。举例来说：在左图中，由于肘关节的外观与膝关节非常相似，对于一个感受野仅能覆盖肘关节本身的小特征提取器，很难将两者区分开来。但如果感受野能同时看到附近的手腕或肩膀，那么将其归类为肘部就容易得多。同样，在中间的图像中，要确定身体的某个部位是左还是右，人的头部和手的方向是重要的信息，但这需要较大的感受野。在涉及单人姿态估计的方法中，需要抑制非主要人体部位的检测。如右图所示，利用周围人和图像边界的信息，特征提取器可以抑制非主要人体部位的肩膀检测，同样的较大的感受野是必须的。
对卷积网络而言，只要将网络变的更深，或者增大卷积核，就能够促进空间信息流动，我们就可以增加最终特征的感受野。感受野增加了，上述提到的三种情况都能够被较好的解决。然后不论是大卷积核还是深网络，这对计算和训练都带来了较大的挑战。为了空间信息能够低成本的流动，本文提出了一种针对于姿态估计任务的空间连接网络，使信息在空间上的流动更容易。本文提出的网络为spatial shortcut network (SSN)。该网络将特征映射移动和注意机制结合在一个称为特征移动模块feature shifting module(FSM)中。
特征转移模块（FSM)
本文最核心的部分是特征转移模块（FSM）。该模块在参数数量和计算成本上都与普通卷积层一样轻量，并可以插入到网络的任何部分来补充空间信息。该模块主要分为两个部分，如下图所示，主模块（main）和注意力机制模块（correlation attention）。
Main模块：
该模块输入为C个通道的特征P，首先通过1\*1的卷积变换为K个通道的特征。然后对K个通道的特征，作逐通道的shift操作，该过程中需要 K对偏置参数。shift操作后的特征和CA模块的输出，作逐元素相乘。再利用1\*1的卷积将通道数变换为C个。最后在和模块的输入特征P做短连接逐元素相加，经过BN和Relu后输出。整个过程中，最重要的shift操作如下。
如上图所示，若K通道的特征中，K等于3，则对每个通道而言都会有一对可学习的参数(x,y)。该参数对用于作对应通道的特征偏移。为了训练的便利，该可学习参数为实数值，而且在偏移前对特征图作了双线性差值。
上述公式展示了shift过程的计算，星号表示对原始的输入C通道特征图作线性差值，第二个公式表示对K通道特征图进行可学习偏移。因此，整个FSM模块的公式如下：
CA模块（Correlation attention）：
文章引入相关注意模块(CA)，根据输入数据来调节FSM在何处以及如何有效。如果没有它，FSM将在每个空间位置上不加区别地进行卷积，在没有空间依赖性的位置上产生噪声，或者可能发生过拟合现象。CA模块会在每个空间位置预测空间依赖是否存在，或者说移位特征是否与局部特征相关。为了预测相关置信度，理想情况下，我们应该同时使用移位前和移位后的特征作为输入源，但是实验表明，这与仅使用移位前的特征具有类似的性能，因此本文中仅使用移位前的特征作为CA模块的输入。具体公式如下：
窗口定义：
本文中接下来要讲的窗口不是传统的网格形状，例如3 *3卷积中的3* 3个网格，而是由所有K个偏移量进行偏移后定义的形状。在这个卷积视图下，我们将输入映射中的卷积位置称为窗口位置，如下图中的橙色/蓝色/绿色点所示。
通道解耦：
我们在shift操作前后添加1个1*1卷积的原因是为了解耦输入通道和shift后的通道。首先，如果直接在输入通道上进行shift，并不是每个通道都需要移位，而且无法通过多个不同的偏移量来shift通道。其次，需要shift的通道数量并不仅仅取决于输入通道的数量。shift的目标是将空间相关的位置对齐，因此所需的偏移量也应取决于特征的空间分布。第三，我们希望FSM能够为主干提供补充信息，并且我们的方法中的主干也在ImageNet上进行了不使用FSM的预训练。采用解耦的方式，使得插入FSM后可以防止骨干训练受到根本干扰，从而提高训练性能。而且FSM在参数上更有效。FSM的输入通道和输出通道的数量都是C，并且覆盖了K个窗口位置，所以FSM的参数总共是3KC +2K。对于有源卷积和可变形卷积，为了覆盖窗口位置，参数个数分别为KC2 + 2K和KC2 + 2KC。FSM的另一个优点在于，它并不像前两者将每个输入通道与所有K个窗口位置进行卷积，如下图中左边所示。但是并非所有通道都需要每个窗口位置，特别是在一个大k的卷积层中。通过对输入和shift通道进行解耦，FSM等价于在每个输入通道中只选择一个窗口位置子集进行卷积，而这个子集在不同的通道中是不同的。下图的中间显示了这一点。我们认为FSM是更有效的，因为具有长期空间依赖性的特征可能很少同时存在于单一输入通道中。而右图中，表示使用CA情况下，根据每个位置的输入数据，可以在一个输入通道的不同输出位置形成不同的窗口形状。
骨干网络
结论和效果
本文提出了一种融合特征转移模块和相关注意机制的空间链接网络。该网络通过建立远程空间依赖关系模型，提高了浅层探测能力。演示了所提出的模块如何对姿态估计任务做出贡献，并以相似或更小的体系结构提供了更好的性能。下图展示了网络在coco2017验证集上的性能。
-End-
*延伸阅读
CV细分方向交流群
添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群（已经添加小助手的好友直接私信），更有每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流，一起来让思想之光照的更远吧~
△长按添加极市小助手
△长按关注极市平台
觉得有用麻烦给个在看啦~