封面故事 | 海事监控视频舰船目标检测研究现状与展望
第453篇原创，您的关注是对图图最大的鼓励！
舰船目标检测是海域监控、港口流量统计、舰船身份识别以及行为分析与取证等智能海事应用的基石。随着我国海洋强国建设的推进，智慧航运和智慧海洋工程迅速发展，对通过海事监控视频开展有效的舰船目标检测识别以确保航运和海洋工程安全的需求日益紧迫。
图图今日推荐《中国图象图形学报》2022年第7期的封面论文：海事监控视频舰船目标检测研究现状与展望，成果来自同济大学叶晨团队。
题目：海事监控视频舰船目标检测研究现状与展望
作者：叶晨,逯天洋,肖潏灏,陆海,杨群慧
引用格式：叶晨, 逯天洋, 肖潏灏, 陆海, 杨群慧. 2022. 海事监控视频舰船目标检测研究现状与展望. 中国图象图形学报, 27(7): 2078-2093
[DOI: 10.11834/jig.200674]
全文链接：
http://www.cjig.cn/html/jig/2022/7/20220702.htm
针对基于海事监控视频的舰船目标检测，本篇综述：
回顾了检测方法的国内外研究现状
阐明了舰船目标检测任务中的技术难点
通过实验证明了针对性的预处理和数据增广的必要性
从适应目标尺度的多样性和提高模型的性能并降低模型对设备运算量的要求等方面展开调研
并对相应模型进行了实验评估
为促进舰船目标检测技术的应用提供了思路
当前，海面舰船目标图像主要有两种，一是基于机载、星载传感器获取的遥感图像；二是基于陆基、船基和浮标安装的传感器获取的监控图像。
图1 不同数据集中的海面舰船目标
表1 舰船目标检测领域部分公开数据集
基于海事监控图像和视频的舰船目标检测与通用目标检测相似，两阶段目标检测网络的检测精确率高于一阶段检测网络，但检测速度较慢。CNN模型表现出对目标尺度的敏感性，将区域提议网络更换为其他尺度不敏感的区域提议方法后，性能有了较大提升。
01舰船目标尺度多样性
在海事监控图像数据中，由近到远，开阔的视野使得帆船、皮划艇等小型船舶和油轮、集装箱船等大型舰船均可以出现在同一帧图像中，导致图像数据中的目标具有极大的尺度多样性。并且，远处的大型舰船和近处的小型船舶可能具有相似的视觉尺度。在CNN模型中，较小尺度的目标会在卷积和池化过程中在特征图上对应越来越小的区域，甚至消失；在最深层，网络的感受野如果大幅超过目标的尺度，目标将很难体现在特征图上。
02舰船类别的多样性舰船目标有很多细分的类别，不同细分类别目标的形状、纹理等图像特征有着较大的差异。舰船类别的多样性要求在设计模型时仔细评估模型是否有足够的能力刻画相同目标类别内部的多样性，在构建数据集时仔细考虑类别划分的粒度；在CNN模型中，依据模型的特点提供分类粒度合适的标签，有利于模型训练过程平稳进行；分类标签的粒度还在一定程度上决定了各个类别的样本数量，从而影响了各个类别间的平衡性。
03海洋气象的复杂性海洋气象环境相较于陆地更加复杂，也更容易发生极端天气。面对海事监控系统持续性、高可靠性监测的要求，数据集需要对各种天气和光照条件进行充分覆盖。同时，目标检测算法中建立的背景模型需要具有对不同的天气和光照条件的描述能力。
04水面的动态特性船只的尾流、水面的浪花和反射光斑等背景中的动态元素对背景建模和背景减除提出了挑战。在背景减除阶段，一些算法无法减除尾流、浪花等动态元素，致使误检产生。针对水面动态元素造成的误检，可以考虑对它们进行建模，以及对检测结果进行事后的分类过滤。
05相机的视角和运动在同一或不同位置以不同角度固定的摄像头拍摄同一个物体时，照片上物体的大小、位置和姿态都会有相应的差别。在海洋环境中，浮标等平台常常随着波浪晃动，固定在可动平台上的摄像头会随着平台的颠簸、晃动出现物体位置的抖动，甚至倾斜；有时甚至会出现摄像头淹没的情况。因此，应用于可动平台上的舰船目标检测模型应具有一定的旋转和平移的健壮性。
06低质量图像安装在浮筒等位置上的摄像头，由于成本限制，其图像分辨率和质量一般较受限；同时，拍摄和传输过程中的噪声干扰也会使图像质量下降。在通信手段缺乏的远洋海域，通信带宽的限制造成了数据采集和传输的困难，致使数据集难以构造，使用服务器部署集中算力的方法也难以实现。
论文关注到舰船目标检测领域数据集数量和质量较欠缺、小型目标检测效果较差以及缺少CNN方法在嵌入式设备上的应用研究的问题，在预处理与数据增广、尺度多样性两个方面进行了实验研究，针对实际应用中嵌入式平台的功率和算力受限等问题，开展了运算量优化的模型研究，并评估了模型在较低运算量和功耗下的性能表现。
具体参见论文全文：
http://www.cjig.cn/html/jig/2022/7/20220702.htm
1) 数据集的进一步优化。针对海事图像和视频数据集应具有的特征进行优化。首先，以适宜的粒度进行分类。其次，优化标注的一致性与易用性。最后，使数据集具有易扩充性能。研究者可以通过划分数据集、细化类别标注和增加图像分割标注等方法扩充可用的数据集，增加数据集的适用领域。
2) 模型设计的进一步优化。针对海事监控视频舰船目标检测任务的难点，首先，应进一步研究多尺度目标(尤其是小型目标)检测的模型结构。其次，应考虑图像信息与语义信息的融合方式。最后，考虑到海事监控设备实际的计算能力和功耗限制，探索性能—计算量比以及性能—功率比更高的模型，是推动舰船目标检测技术更大规模应用部署的重要方向。
叶晨，同济大学高级工程师，主要研究方向为机器学习、图像处理、大数据分析及其工业智能领域的应用。
E-mail: yechen@tongji.edu.cn
陆海，通信作者，同济大学工程师，主要研究方向为深度学习及多源数据融合。
E-mail: lh@tongji.edu.cn
逯天洋，同济大学硕士研究生，主要研究方向为深度学习目标检测。E-mail: tylu@alumni.tongji.edu.cn
肖潏灏，同济大学硕士研究生，主要研究方向为深度学习目标检测。E-mail: 2033089@tongji.edu.cn
杨群慧，同济大学研究员，主要研究方向为海洋观测技术。
E-mail: yangqh@tongji.edu.cn
END
《中国图象图形学报》
前沿/热点专题征文来了~
“类脑视觉”专题征文
《中国图象图形学报》
前沿专刊专栏上线啦~
本文系《中国图象图形学报》原创稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：秀 秀
审核：梧桐君
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。