“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注。
地址:https://zhuanlan.zhihu.com/p/375415518
TANet从严格意义上来说并不能算是一种新的3D点云目标检测算法,只能算是一种增强方法,思路有点类似于SENet 。好处是可以很快地“嵌入”到当前已有3D目标检测算法中而不需要对原有代码进行大的修改。文章解读可以参考月明星稀风萧萧:TANet: 3D点云目标检测框架 、AAAI 2020 | 华科Oral提出TANet:提升点云3D目标检测的稳健性 等。本文从代码层面解读TANet的思路和方法。我们基于PointPillar的网络结构并且参照happinesslz/TANet 代码来进行代码剖析。PointPillar的代码解读可以参照硅仙人:代码层面解读3D点云物体检测模型:PointPillars 。TANet主要从两个方面对原始网络结构进行了改进,一是Stacked Triple Attention,翻译过来为堆叠三元注意力,在channel wise、point wise和voxel wise三个层面对点云进行attention,作用是增强判别点,并抑制不稳定的点;二是Coarse-to-Fine Regression,作用是在不过度消耗计算成本的情况下提升定位准确率,下面进行详细地解读。01
通过PillarFeature_TANet实现,是对原代码中的PillarFeatureNet进行替换,PillarFeatureNet-->PillarFeature_TANet,主要是增加了VoxelFeature_TA模块,作用是对points进行attention修正。VoxelFeature_TA module
可以看出VoxelFeature_TA模块包含PACALayer (Point-wise Attention and Channel-wise Attention Layer)和VALayer (Voxel Attention Layer),而PACALayer又包含PALayer和CALayer从名字可以看出这些模块分别对应着point-wise attention、channel-wise attention和voxel attention,加起来正好一共是3个attention。PACALayer包含PALayer和CALayer,输入x经过PALayer和CALayermodule后得到pa_weight和ca_weight,然后通过torch.mul将pa_weight和ca_weight做外积结合在一起,再通过sigmoid激活函数得到paca_normal_weight,最后将x和paca_normal_weight做点积(即attention机制)。
PALayer module
PALayer用了一个很简单的方法,先对输入x的第2维进行max操作,输入x的shape为(K, N, C),K是voxel数目,N是每个voxel中的points数目,C是每个point的channel数目,那么经过第2维的max操作后得到shape为(K, N)的y,然后经过2层FC layer得到结果out1也就是PACALayer中的pa_weight。
CALayer module
CALayer module和PALayer module十分类似,唯一的不同之处是在CALayer module中对输入x进行第1维上的max操作。VALayer的输入是voxel_center和paca_feat,voxel_center是points在x, y, z三个维度上进行的加权取均值操作,其维度是(K, 1, 3);paca_feat是PACALayer的输出,维度是(K, N, C)。在forward方法中首先将voxel_center在第1维上进行repeat成voxel_center_repeat,从而扩充到(K, N, 3),然后将paca_feat和 voxel_center_repeat在第1维上进行concat,接着经过1层fc得到feat_2 (K, N, 1),然后transpose得到(K, 1, N), 再经过1层fc得到voxel_feat_concat (K, 1, 1),最后通过sigmoid激活得到voxel_attention_weight (K, 1, 1)。接着我们回过头再来考察VoxelFeature_TA的forward方法:图中代码2个红框部分几乎一样,都是输入x和voxel_center经过PALayer、CALayer和VALayer后再通过1层fc,唯一不同之处是第1个红框内的out1是concat得来,而第2个红框内的out2是element wise add得来。那么经过VoxelFeature_TA后的feature就是经过attention后的feature
02
Coarse-to-Fine Regression通过PSA module进行实现,是对原代码中的RPN进行替换,RPN-->PSA,主要是增加了refine模块。原始的RPN网络即3层并列的conv/deconv的组合经过concat,最后经过3个conv head返回box_preds、cls_preds和dir_cls_preds,结构如下
PSA Network
从上图可以看出,PSA Network中的Coarse Regression就是上述的RPN Network,没有做任何改动。PSA中增加的是Fine Regression,下面将详细讲述。首先Coarse Regression最后concat得到的结果需要经过1层conv得到blottle_conv,留着在之后Fine Regression中upsample后的element wise add中用。接着将RPN中三个block的输出分别引出,图中显示的是经过一个叫Pyramid Sampling的模块,实际上Pyramid Sampling就是max pooling和deconv模块的组合,如下图代码所示Pyramid Sampling中既有downsample (max pooling)又有upsample (deconv),目的是将RPN中3个block的输出调整到统一大小,从而又可以形成3个新的block,可以分别进行concat,然后经过conv、upsample (deconv),得到大小(w, h)一致的特征图,接着用blottle_conv与这三个特征图做element wise add,之后将它们concat。最后经过3个conv head返回box_preds、cls_preds和dir_cls_preds。那么就达到了不过度消耗计算成本的情况下提升定位准确率的作用。
03
类似于SENet,TANet只是一种增强算法,在增加模型参数和复杂度的条件下提升了检测精度,个人认为创新点有限。好在可以在当前网络中进行小的调整,对原有网络不进行大的修改,可以对各种网络都试一试。链接:
1. https://zhuanlan.zhihu.com/p/80123284
2. https://zhuanlan.zhihu.com/p/102996208
3. https://tech.sina.com.cn/roll/2019-12-28/doc-iihnzhfz8884996.shtml
4. https://github.com/happinesslz/TANet
5. https://zhuanlan.zhihu.com/p/357713061
本文目的在于学术交流,并不代表本公众号赞同其观点或对其内容真实性负责,版权归原作者所有,如有侵权请告知删除。
“源头活水”历史文章
更多源头活水专栏文章,
请点击文章底部“阅读原文”查看
分享、在看,给个三连击呗!