中科院自动化所何晖光团队 | 一种基于RGEC的新型网络
Machine Intelligence Research
基于RGEC，中科院自动化所何晖光研究员团队设计了一种新的网络，令浅层不同方向卷积核共享权重。实验结果表明，该方法在保持较高性能的同时，在浅层仅需要较少的卷积核和参数。相比于常规CNN，它保持了相同的输出通道，不会增加额外的计算负担。结果表明，浅层卷积核可以很好地从RGEC的旋转对称性中受益。更少的卷积核也意味着更直观和更好的可解释性，从而减少潜在的泛化风险。相关成果发表于MIR第二期中。
图片来自Springer
卷积神经网络(CNN)在过去的二十年里发展迅速。在各种计算机视觉任务中，包括分类、检测及语义分割，CNN都表现出优异的性能。
CNN具有平移群等变性，并在不同的空间位置共享权重。与全连接网络相比，CNN由于权重共享而具有更高的参数效率，并且能够更好地减轻平移带来的影响，从而获得更优的性能。受此启发，本文旨在以更高的参数效率达到更好的性能。
本文充分利用旋转群等变卷积(RGEC)的优点，开发并探索了一种全新的方法。除了提升网络参数的效率外，本文还确保不增加额外的计算负担。
为此，本文保持RGEC的输出通道数与普通卷积中的输出通道数相同，而不是增加输出通道以保证参数的数量相同。因此，在不增加任何计算资源的前提下，卷积核数量和参数量大大减少。
为了避免额外增加计算成本，本文构造了一个任意形状的卷积，可直接方便地旋转卷积核。
考虑到RGEC对低层特征更有效，本文构建了只在浅层中共享不同方向权重的网络。
在参数较少且无额外计算成本的前提下，设计并添加方向维度上的非最大抑制损失，以提高性能。
大量的实验表明，通过直接替换传统卷积的方式，在浅层中共享不同方向的权重可以在参数较少且无需增加计算成本的情况下提高性能。
Sharing Weights in Shallow Layers via Rotation Group Equivariant Convolutions
Zhiqiang Chen, Ting-Bing Xu, Jinpeng Li, Huiguang He
https://link.springer.com/article/10.1007/s11633-022-1324-5
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1324-5
【本文作者】
陈智强
博士
许庭兵
博士
李劲鹏
博士
何晖光
研究员
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
联想CTO芮勇团队 | 知识挖掘：跨领域的综述
主编谭铁牛院士寄语, MIR第一期正式出版！华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法
点击"阅读原文"下载全文