封面故事 | 从传统到深度：火灾烟雾识别综述

图片来源网络

火灾初期通常会产生大量烟雾，在很大程度上降低了火焰检测的有效性，通过计算机视觉的方法对烟雾进行监控，可以实现早期火灾预警。计算能力的提高、存储设备的发展，使得传统视觉技术中存在的问题逐渐得到改善或解决，但也迎来了新的挑战。

《中国图象图形学报》2019年第10期封面聚焦火情与烟雾检测，关注视频烟雾检测与分割两个细粒度任务，探讨如何提取和利用烟雾的动态与静态特征。成果来自上海师范大学袁非牛教授团队。

论文标题：从传统到深度：视觉烟雾识别、检测与分割

论文作者：夏雪,袁非牛,章琳,杨龙箴,史劲亭

主题词：烟雾识别;烟雾检测;烟雾分割;深度学习;综述

引用格式：夏雪, 袁非牛, 章琳, 杨龙箴, 史劲亭. 从传统到深度：视觉烟雾识别、检测与分割[J]. 中国图象图形学报, 2019, 24(10): 1627-1647.

[DOI: 10.11834/jig.190230]

全文链接：

http://www.cjig.cn/html/jig/2019/10/20191002.htm

看点1：

从任务粒度和实现方式两个角度，对基于烟雾监控的火灾预警进行综述。

• 从粗到细按4级任务粒度，将视频烟雾监控任务分为识别、检测、分割和浓度估计4种具体任务(见图1)，研究基于有监督学习的烟雾分类问题，分类任务粒度、学习过程中的训练标签、监控任务与本质问题间的对应关系。

• 分别从传统方法和深度学习方法两个方面，梳理2017~2019年发表的论文，对烟雾识别、检测、分割各类方法进行评价和综述。其中主要关注深度方法，传统方法能为深度方法提供更多理论支持与可解释性。

• 总结了视频烟雾监控任务中存在的问题与原因，并指出了值得研究的方向。

图1 视频烟雾监控任务分类

1烟雾识别：全图分类

当烟雾区域在视频帧中占比不够大时，全图烟雾识别难以及时发现火情，且识别效果易受环境影响。通过将烟雾识别方法用于图像块和局部区域，可以扩展到更细粒度的烟雾监控任务上。

2烟雾检测：烟雾识别与烟雾定位的结合

利用烟雾识别作用于候选区域，随后通过烟区确认以进行烟雾定位。烟区确认是特征提取与分类问题，目前多采用基于规则与学习的方法。提供定位信息的方式有滑块采样与分割两种。许多文献并不严格地区分检测与分割任务。烟雾检测结果缺乏统一性，其输出可能是粗检测框、精细包围盒等形式，导致评估标准不统一。

3烟雾分割

烟雾分割是将每个像素分类为烟雾和非烟雾，即为硬分割(hard segmentation)。烟雾硬分割本质上为二值分类。由于烟雾对比度低、边界往往比较模糊，极大地依赖于阈值确定烟雾边界，但实际上很难精确判断烟雾边界。

从粒度来说，烟雾分割可分为烟雾区域粗分割和逐像素精细分割。前者常退化为烟雾检测，后者常采用深度学习方法实现。

逐像素分割算法研究因缺乏精细标注(Ground truth)而难以推进。

4烟雾浓度估计烟雾浓度估计是采用算法预测每个像素的烟雾浓度值或烟雾概率，属于软分割(soft segmentation)。烟雾软分割本质是一个回归问题，袁非牛教授团队采用深度神经网络比较准确地估计出每个像素的浓度，甚至可以估计出汽车尾气的烟雾或雾气浓度。

图2  左上角为来自网络的真实图像，右上角为估计出的烟雾浓度，左下角为二者融合显示的结果。从结果可以看出，估计出的位置和精度较高。

相关工作进展参见论文：

Feiniu Yuan, Lin Zhang, Xue Xia, Qinghua Huang and Xuelong Li, "A Wave-shaped Deep Neural Network for Smoke Density Estimation", IEEE Transactions on Image Processing, online, DOI: 10.1109/TIP.2019.2946126  

看点2：

梳理了识别算法评价指标、检测与分割算法评价指标和逐像素软分割算法评价指标。

• 尽管指标较多，但有些指标的物理意义相同或相近。

• 分类指标应用最为广泛，因为分类是评价很多算法的基础。

• Precision和Recall更关注识别方法对正样本的影响，不如TP系列指标应用广泛，因而常与TP系列一起使用。

看点3：

归纳了视觉火灾预警中常用的火焰或烟雾公开数据集，以及各数据集的使用情况。

缺少数据集是目前阻碍烟雾监控研究发展的一大因素，标注的缺乏也导致大多细粒度任务的客观评价都停留在粗粒度的识别阶段。论文总结了可用的、公开发表的烟雾数据集。

表1 常用的烟雾监控数据集及下载地址

参考文献	主要数据集	网址
[1]	Chino等人BoWFire，火焰，图像	http://www.gbdi.icmc.usp.br/  https://bitbucket.org/gbdi/bowfire-dataset
[2]	Salerno大学Mivia，火焰与烟雾，视频	https://mivia.unisa.it/datasets/video-analysis-datasets/
[3-5]	袁非牛团队VSD，烟雾，图像和视频，烟雾浓度	http://staff.ustc.edu.cn/~yfn/index.html http://staff.ustc.edu.cn/~yfn/vsd.html
[6]	KMU-CVPR实验室，火焰与烟雾，视频	http://cvpr.kmu.ac.kr/Dataset/Dataset.htm
[7]	Modena大学ViSOR，烟雾，视频	http://imagelab.ing.unimore.it/visor/index.asp
[8-10]	Bilkent大学VisiFire，火焰与烟雾，视频	http://signal.ee.bilkent.edu.tr/VisiFire/
[11-13]	中科大火灾实验室，烟雾，图像与视频	http://smoke.ustc.edu.cn/datasets.htm

此统计截止论文完成日期，详见论文原文

http://www.cjig.cn/html/jig/2019/10/20191002.htm

数据集间有互相引用时，请以网页介绍为准

表1中的参考文献

（向上滑动查看更多）

[1]Chino D Y T, Avalhais L P S, Rodrigues J F, et al. BoWFire: detection of fire in still images by integrating pixel color and texture analysis [C]//Proceedings of the Conference on Graphics, Patterns and Images (SIBGRAPI), Salvador, Brazil: IEEE Computer Society, 2015: 95-102. [doi: 10.1109/sibgrapi.2015.19]

[2]Foggia P, Saggese A, Vento M. Real-time fire detection for video-surveillance applications using a combination of experts based on color, shape, and motion [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(9): 1545-1556. [doi: 10.1109/TCSVT.2015.2392531]

[3]袁非牛, 夏雪, 李钢, 等. 面向烟雾识别与纹理分类的Gabor网络 [J]. 中国图象图形学报, 2019, 24(02): 269-281. [doi: 10.11834/jig.180397]

[4]Yin Z, Wan B, Yuan F, et al. A deep normalization and convolutional neural network for image smoke detection [J]. IEEE Access, 2017, 5: 18429-18438. [doi: 10.1109/ACCESS.2017.2747399]

[5]Yuan F, Zhang L, Xia X, et al. Deep smoke segmentation [J]. Neurocomputing, 2019, 357: 248-260. [doi: 10.1016/j.neucom.2019.05.011]

[6]Ko B C, Cheong K-H, Nam J-Y. Fire detection based on vision sensor and support vector machines [J]. Fire Safety Journal, 2009, 44(3): 322-329. [doi: 10.1016/j.firesaf.2008.07.006]

[7]Vezzani R, Cucchiara R. Video surveillance online repository (ViSOR): an integrated framework [J]. Multimedia Tools Application, 2010, 50(2): 359-380. [doi: 10.1007/s11042-009-0402-9]

[8]Töreyin B U, Cetin A E. Online detection of fire in video [C]//Proceedings of the Computer Vision and Pattern Recognition(CVPR), Minneapolis, MN, USA: IEEE, 2007: 1-5. [doi: 10.1109/CVPR.2007.383442]

[9]Töreyin B U, Dedeoğlu Y, et al. A E. Flame detection in video using hidden Markov models [C]//Proceedings of the IEEE International Conference on Image Processing(ICIP), Genova, Italy: IEEE 2005: II-1230. [doi: 10.1109/ICIP.2005.1530284]

[10]Töreyin B U, Dedeoğlu Y, Güdükbay U, et al. Computer vision based method for real-time fire and flame detection [J]. Pattern Recognition Letters, 2006, 27(1): 49-58. [doi: 10.1016/j.patrec.2005.06.015]

[11]Lin G, Zhang Y, Zhang Q, et al. Smoke detection in video sequences based on dynamic texture using volume local binary patterns [J]. Ksii Transactions on Internet & Information Systems, 2017, 11(11): 5522-5536. [doi: 10.3837/tiis.2017.11.019]

[12]Xu G, Zhang Y, Zhang Q, et al. Deep domain adaptation based video smoke detection using synthetic smoke images [J]. Fire Safety Journal, 2017, 93: 53-59. [doi: 10.1016/j.firesaf.2017.08.004]

[13]Xu G, Zhang Y, Zhang Q, et al. Video smoke detection based on deep saliency network [J]. Fire Safety Journal, 2019, 105: 277-285. [doi: 10.1016/j.firesaf.2019.03.004]

袁非牛团队建立的视频烟雾浓度估计测试示例中国科学技术大学火灾科学国家实验室数据集示例

推荐阅读

杨龙箴, 袁非牛, 杨寿渊, 雷帮军, 张相芬. 连续图卷积视频烟雾检测模型[J]. 中国图象图形学报, 2019, 24(10): 1658-1669.

http://www.cjig.cn/html/jig/2019/10/20191004.htm

袁非牛, 夏雪, 李钢, 章琳, 史劲亭. 面向烟雾识别与纹理分类的Gabor网络[J]. 中国图象图形学报, 2019, 24(2): 269-281.

http://www.cjig.cn/html/jig/2019/2/20190211.htm

史劲亭, 袁非牛, 夏雪. 视频烟雾检测研究进展[J]. 中国图象图形学报, 2018, 23(3): 303-322.

http://www.cjig.cn/html/jig/2016/7/20160709.htm

罗胜, 张翔, 胡杰, 王慕抽, 张笑钦. 时间压缩轨迹特征识别的火灾烟雾检测[J]. 中国图象图形学报, 2019, 24(10): 1648-1657.

http://www.cjig.cn/html/jig/2019/10/20191003.htm

作者简介

第一作者：

夏雪，讲师，博士，主要研究方向为图像处理、模式识别。

E-mail:[e-mail]

通信作者：

袁非牛，教授，博士，主要研究方向为图像处理、模式识别、视频分析与事件检测、语义分割、3维建模与可视化。

E-mail:[e-mail]

编辑推荐

本文系《中国图象图形学报》独家稿件，

欢迎读者转发朋友圈

文章部分配图来自网络，仅供学习交流，

版权属于原作者

编辑：秀秀

指导/审核：梧桐君

总编辑：肖亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号

在看点这里