查看原文
其他

ECCV 2020,一种灵活高效的权重生成网络框架

R 旷视研究院 2022-07-04

“15分钟看顶会”是旷视研究院全新推出的论文快速解读专栏,聚焦旷视在全球各大顶会、期刊等平台所发表的工作,覆盖深度学习、计算机视觉、视觉导航与控制、计算摄影学、大规模机器学习系统、机器人学等方向。
与传统论文视频解读动辄30min时长不同,本专栏尽可能将时间控制在15分钟左右,以方便读者在日常通勤、等待、出行等时间受限的场景下高效利用碎片化时间进行学习、交流。
欢迎大家和我们一起“深度学习”,也欢迎对这种论文解读方式提出您的宝贵建议。

本期是“15分钟看顶会”专栏 ECCV 2020 论文解读系列的第八篇,旷视研究院提出一个灵活高效的权重生成网络框架,称为WeightNet。



  • 论文题目:
    WeightNet: Revisiting the Design Space of Weight Networks
  • 论文链接:
    https://arxiv.org/abs/2007.11823
  • MegEngine开源
    https://github.com/megvii-model/WeightNet
  • 关键词:
    CNN架构设计、权重生成网络、动态滤波器


作为一种通用形式,WeightNet将SENet与CondConv这两种很不一样却都非常有效的方法纳入到同一框架中。WeightNet通过在注意力激活层上添加一层分组全连接层(group fully-connected layer)从而实现了对这两种方案的统一。


WeightNet可以直接输出卷积权重,同时在kernel空间(而非特征空间)上训练起来既简单,内存消耗又少。凭借其灵活性,该方法在ImageNet和COCO的检测任务上均能取得更好的准确率-FLOPs权衡和准确率-参数量权衡。

同学们还可以点击阅读原文,浏览《ECCV 2020 旷视研究院15篇成果总览》,了解更多顶会论文内容。


入群交流



 


传送门 

实习简历请投递至:ur@megvii.com
欢迎大家关注如下 旷视 官方微信号👇

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存