ETHZ团队 | 一种基于深度梯度学习的高效伪装目标检测方法 (机器智能研究MIR)
Machine Intelligence Research
武汉大学、苏黎世联邦理工学院及马克思普朗克信息研究所的研究人员共同提出了DGNet模型,一种利用对象梯度监督实现伪装对象检测(COD)的新型深度框架。它将任务解偶成两个相关联的分支,即语义编码器和纹理编码器。分支之间的核心关联是梯度诱导转换,用来表征语义特征和纹理特征之间的软分组。得益于简单而高效的结构设计,DGNet模型大幅地超越了现有的前沿伪装目标检测模型。特别地,本文的高效版本DGNet-S模型取得了实时推理速度(80fps)且仅有最好模型JCSOD-CVPR21 6.82%的参数量。应用结果也显示DGNet模型在息肉分割、缺陷检测和透明目标分割任务上取得了优异的性能。本文的源码可在https://github.com/GewelsJI/DGNet中获取,并提供了PyTorch、清华计图(Jittor)、华为昇腾(Ascend)三种深度学习平台框架复现版本。全文已发表于MIR 2023年第一期中,可免费下载!
图片来自Springer
全文下载:
Deep Gradient Learning for Efficient Camouflaged Object Detection
Ge-Peng Ji, Deng-Ping Fan, Yu-Cheng Chou, Dengxin Dai, Alexander Liniger, Luc Van Gool
https://link.springer.com/article/10.1007/s11633-022-1365-9
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1365-9
伪装目标检测(Camouflaged Object Detection, COD)旨在分割具有人工或者自然模式的目标,这些目标能够“完美地”融入背景之中,以避免被发现。一些成功应用已展现出伪装目标检测任务的科学和工业价值,例如:医疗图像分析(即息肉和肺部感染分割)、视频理解(例如:运动分割、视频监控和自动驾驶)和休闲艺术。
近期的一些研究工作在基于完整的目标级别真值掩膜监督之下展现出了卓越的性能。随后,各类前沿的技术被开发用于增强伪装目标检测的底层表征,例如:基于边界和基于不确定性引导的。然而,从边界监督或基于不确定性的模型中学习到的特征,通常会对伪装目标的稀疏边缘做出响应,从而引入噪声特征,特别是对于复杂场景而言(见图-a)。此外,伪装目标的边缘通常“难以定义”或“不明确”,因而不会从快速视觉扫描的过程中被弹出。本文注意到,尽管目标具有伪装性,但仍然留下一些线索,如图第一列中的白色斑纹。本文所感兴趣的不是仅提取边界或不确定区域,而是网络如何挖掘物体内部的“鉴别性模式”。
图1 纹理特征可视化。
本文观察到DGNet-S模型在目标边缘的监督(a)下特征图背景中含有扩散的噪声。相比之下,基于目标梯度的监督(b)使网络更关注强度剧烈变化的区域。
从这个角度出发,本文提出一种深度梯度网络(Deep Gradient Network, DGNet),它采用目标级别梯度图进行显式监督。其中,潜在假设是伪装目标内部具有一些像素强度变化。为了简化学习任务,本文将DGNet模型解耦为两个相关联的分支,即:语义编码器和纹理编码器。前者可视为上下文语义学习器,后者则是结构纹理提取器。通过这种方法,可以克服从单个分支中所提取高级特征和低级特征之间的特征歧义。为充分聚合两个分支生成的两类鉴别性特征,本文进一步设计了梯度诱导转换(Gradient-Induced Transition, GIT)模块,以协同的方式集成了不同分组尺度下的多源特征空间(即软分组策略)。在图-b中,DGNet模型采用一种聚焦于伪装对象内部区域的像素强度敏感策略,可在抑制背景噪声的同时检测纹理模式。
在三个具有挑战性的伪装目标检测基准上所进行的充分实验表明,本文的DGNet模型在不引入任何复杂结构的情况下,实现了最前沿的性能。此外,本文实现了一个仅有8.3M参数量的高效模型DGNet-S,它在伪装目标检测相关的基线模型对比中取得了最快的推理速度(80 fps)。值得注意的是,DGNet-S仅有最佳模型JCSOD-CVPR21参数量的6.82%,且实现了相当的性能表现。上述结果表明,本文的模型大大缩小了科学研究与实际应用之间的差距。DGNet模型的三个下游应用(请参见第节)也支撑了这个结论。
本文的主要贡献可以归纳为:
1) 引入了一个新颖的深度梯度学习框架用于解决伪装目标检测任务,名为DGNet模型。
2) 提出了梯度诱导转换,它根据软分组策略对来自语义分支和纹理分支的特征进行自动分组。
3) 展示了三个下游应用并取得了良好性能,包括息肉分割、缺陷检测和透明目标分割。
全文下载:
Deep Gradient Learning for Efficient Camouflaged Object Detection
Ge-Peng Ji, Deng-Ping Fan, Yu-Cheng Chou, Dengxin Dai, Alexander Liniger, Luc Van Gool
https://link.springer.com/article/10.1007/s11633-022-1365-9
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1365-9
【本文作者】
范登平
周昱程
Alexander Liniger
Luc Van Gool
纸刊免费寄送Machine Intelligence Research
MIR为所有读者提供免费寄送纸刊服务,如您对本篇文章感兴趣,请点击下方链接填写收件地址,编辑部将尽快为您免费寄送纸版全文!
说明:如遇特殊原因无法寄达的,将推迟邮寄时间,咨询电话010-82544737
收件信息登记:
https://www.wjx.cn/vm/eIyIAAI.aspx#
∨
关于Machine Intelligence Research
Machine Intelligence Research(简称MIR,原刊名International Journal of Automation and Computing)由中国科学院自动化研究所主办,于2022年正式出版。MIR立足国内、面向全球,着眼于服务国家战略需求,刊发机器智能领域最新原创研究性论文、综述、评论等,全面报道国际机器智能领域的基础理论和前沿创新研究成果,促进国际学术交流与学科发展,服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划",已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
Luc Van Gool团队 | 深度学习视角下的视频息肉分割
长时视觉跟踪器: 综述与实验评估 | 机器智能研究MIR
专题综述 | 高效的视觉识别: 最新进展及类脑方法综述北大黄铁军团队 | 专题综述:视觉信息的神经解码
专题综述 | 迈向脑启发计算机视觉的新范式
专题好文 | 新型类脑去噪内源生成模型: 解决复杂噪音下的手写数字识别问题
Top综述集锦 | 进化计算、知识挖掘、自然语言处理、人脸素描合成、机器人辅助手术...
戴琼海院士团队 | 用以图像去遮挡的基于事件增强的多模态融合混合网络ETH Zurich重磅综述 | 人脸-素描合成:一个新的挑战综述:从远程操作到自动机器人辅助显微手术华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
北科大殷绪成团队 | 弱相关知识集成的小样本图像分类
东南大学张敏灵团队 | 基于选择性特征增广的多维分类方法联想CTO芮勇团队 | 知识挖掘:跨领域的综述中科院自动化所何晖光团队 | 一种基于RGEC的新型网络最新好文 | 基于因果推断的可解释对抗防御
复旦邱锡鹏团队 | 综述:自然语言处理中的范式转换
精选综述 | 用于白内障分级/分类的机器学习技术
2023年人工智能领域国际学术会议参考列表 | 机器智能研究MIR
MIR专题征稿 | Special Issue on Multi-Modal Representation Learning
恭喜!MIR 2022年度优秀编委恭喜!MIR 2022年度优秀审稿人
致谢审稿人 | 机器智能研究MIR
2022研究前沿及热点解读 (附完整PDF) | 机器智能研究MIR双喜!MIR入选”2022中国科技核心期刊”,并被DBLP收录 | 机器智能研究MIR报喜!MIR入选2022年国际影响力TOP期刊榜单
喜报 | MIR被 ESCI 收录!喜报 | MIR 被 EI 与 Scopus 数据库收录
点击"阅读原文"下载全文