ICCV 2023 | 首个用于目标检测任务的直接训练脉冲神经网络

©PaperWeekly 原创 · 作者 | 李国齐课题组

单位 | 中国科学院自动化研究所

研究方向 | 类脑计算

论文地址：

https://arxiv.org/abs/2307.11411

代码地址：

https://github.com/BICLab/EMS-YOLO

脉冲神经网络（Spiking neural networks，SNNs）是一种受到大脑启发且具有能耗高效性的神经网络模型，通过将信息编码在时空动力学中，实现高效计算和信号处理。迄今为止，基于直接训练的 SNN 在分类任务中展现出良好的性能，同时仅需很少的时间步。然而，如何设计一个直接训练的 SNN 来处理目标检测这样的回归任务仍然是一个具有挑战性的问题。

为了解决这个问题，我们提出了 EMS-YOLO，一个创新性的直接训练 SNN 的目标检测框架。与传统的 ANN-SNN 转换策略不同，我们首次尝试使用替代梯度来训练深度 SNN 进行目标检测任务。具体而言，我们设计了一个全脉冲的残差模块，EMS-ResNet，它能够有效地扩展直接训练 SNN 的深度，同时具有能耗高效性。

基于动态等距理论，我们证明了提出的模块可以避免梯度消失。实验结果表面，我们的方法仅需 4 个时间步就可以达到和同结构 ANN 网络相当性能，且节省了 5.83 × 的功耗。

背景

目标检测这一回归任务当前的解决方案，基本上都是基于 ANN 的框架。然而，ANN 虽然具有着高精度，但是带来了高计算复杂度和能耗。脉冲神经网络作为第三代神经网络，通过二值（0-1）脉冲信号来传递信息，可以减少信号传输和存储开销。另外，脉冲神经网络具有异步计算和事件驱动特性，且可以部署到神经形态芯片上，展示出强大的能耗高效性。然而，当前基于 SNN 的解决方案大都是转换 ANN 的方法，这需要几百上千的时间步 [1] 来模拟，且不适合于处理稀疏的事件相机数据集。

如果用伪梯度直接训练 SNN，最核心问题：

1. 网络可以被深度训练，需要克服脉冲退化问题；

2. 网络具有多尺度的物体特征信息表达能力；

方法

针对上述问题 1，本文提出了 EMS-ResNet，如图 2 所示，（a）[2] 的残差路径和直连路径如果都有脉冲信号，在下一模块进入卷积运算就会导致非脉冲的浮点运算。（b）[3] 在直连路径上使用非脉冲卷积同样不适合于多尺度的目标检测结构。

我们的结构如（c）所示，避免了非脉冲化的卷积结构，通过 maxpool 操作降低一部分参数运算，同时，concat 操作进行特征复用，保证整个残差结构的脉冲化的且确保了精度。

▲ 图2

基于动态等距理论 [4]，证明了我们的结构可以被深度训练，不会发生脉冲退化问题。

通过广义线性变换，雅可比矩阵乘法、加法运算：

我们归纳 EMS-Block 的动态等距证明为以下两个问题，详情证明过程见论文附录。

针对问题 2，网络基于 YOLO 框架，进行脉冲化改进，如图 3 所示，可以提取多尺度的特征，backbone 基于我们设计的 EMS-ResNet，同时针对性的做了结构的变化可以适用于不同通道数或者维度的输入输出。Head 检测头也实现了全脉冲化的结构，图示为 tiny 结构。整个网络的深度以及检测头，根据实际任务的不同，可以拓展网络的深度。

▲ 图3

实验

我们在 COCO2017 数据集上进行了实验，仅需 4 个时间步，EMS-ResNet34 的结构可以达到 mAP@0.5 到 0.51 的精度值。同时对比同结构的 ANN，我们节省了 5.83 倍的功耗。本实验基于 tiny 检测头，当拓展网络深度以及检测头的尺度，可以获得更高精度。

▲ 表1

▲ 图4

在 GEN1 数据集上，我们将固定长度的事件信息，均分到 5 个时间步，取得了当前的 SOTA 的结果。

▲ 表2

▲ 图5

我们在 res18 结构上设置了对比实验，说明我们 EMS-ResNet 在能耗上的优势，对比 MS 和 SEW 结构，可以降低 2 倍的功耗。

▲ 图6

结论

作为首次使用直接训练的 SNN 应用在目标检测回归任务的工作，我们推动了 SNN 领域朝着回归任务的探索，同时这一完全脉冲化的结构在神经形态芯片上模型的部署更加友好。

参考文献

[1] Seijoon Kim, Seongsik Park, Byunggook Na, and Sungroh Yoon. Spiking-yolo: spiking neural network for energyefficient object detection. In Proceedings of the AAAI conference on Artificial Intelligence, volume 34, pages 11270– 11277, 2020.

[2 ]Wei Fang, Zhaofei Yu, Yanqi Chen, Tiejun Huang, Timothee´ Masquelier, and Yonghong Tian. Deep residual learning in spiking neural networks. Advances in Neural Information Processing Systems, 34:21056–21069, 2021.

[3] Yifan Hu, Lei Deng, Yujie Wu, Man Yao, and Guoqi Li. Advancing spiking neural networks towards deep residual learning. arXiv preprint arXiv:2112.08954, 2021.

[4] Zhaodong Chen, Lei Deng, Bangyan Wang, Guoqi Li, and Yuan Xie. A comprehensive and modularized statistical framework for gradient norm equality in deep neural networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(1):13–31, 2022.

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·