论文推荐｜杨必胜等：车载探地雷达地下目标实时探测法
The following article is from 测绘学报 Author 测绘学报
点击图片上方蓝色字体“慧天地”即可订阅
车载探地雷达地下目标实时探测法
杨必胜1,2,宗泽亮1,2,陈驰1,2,孙文鹿1,2, 米晓新1,2, 吴唯同1,2,黄荣刚3
1.武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉 430079;
2.武汉大学时空数据智能获取技术与应用教育部工程研究中心, 湖北 武汉 430079;
3.中国科学院大地测量与地球物理研究所, 湖北 武汉 430079
摘要：
中国的城镇化加快了地下空间大规模开发与利用的进程。摸清地下空间目标的分布状况，保障城市可持续发展和地下空间资源的永久利用，是维护未来城市安全中的重要任务。探地雷达（GPR）凭借其数据采集速度快、成像分辨率高、无损检测等优点在地下空间资源调查中得以广泛应用。但仍存在GPR数据地下目标识别不准确、自动化程度低等缺陷，自动检测GPR数据中的地下目标或目标缺陷仍然是一个亟待解决的难题。为此，本文分析并确定了GPR影像中可进行识别的城市道路地下空间的7类典型目标（如雨水井、电缆等）。并根据其反射信号特征，标记了GSSI SIR30设备以400 MHz波段采集的GPR数据中的典型地下目标，构建了GPR地下目标样本库，共包含7类总数为3033个。通过迁移学习的方法，精调预训练后的darknet53网络参数，通过端到端的YOLOV3检测方法完成地下目标的自动识别与定位。最后，利用深圳福田区彩田路GSSI SIR30装备以400 MHz波段采集的GPR数据进行试验验证。试验结果表明，本文提出的基于深度学习的地下目标探测方法对城市典型地下目标的检测精度和召回率达到85%以上，检测速度达到了16帧/秒，能够有效探测GPR数据中的城市地下目标。
探地雷达 地下目标探测 卷积神经网络 深度学习 城市空间安全
基金项目：国家自然科学基金（41701530；41725005；41531177）；中国博士后科学基金（2018T110802）；中国南方电网公司科学技术项目（ZBKJXM20170229）
阅读全文：http://xb.sinomaps.com/article/2020/1001-1595/2020-7-874.htm
全文概述
随着城市化的快速进程，城市地下空间的开发与利用愈加受到重视和关注。精准、高效地探测城市地下空间目标，摸清其类型与分布是保障城市地下空间安全的前提和关键。城市地下空间目标既有大量的人工构筑物(如地铁、管廊等)，又有复杂的潜在病害(如空洞等)。以摄影和激光扫描为主的测绘手段不具有穿透性，因此无法有效探测城市地下空间目标的形态和分布。探地雷达(ground penetrating radar，GPR)具有高效、无损、可穿透性、成像分辨率高等特点，被广泛运用于地球物理勘探[1]、建筑物质量检测、道路桥梁检测、隧道质量检测、地下目标探测分类等[2]。由于地下目标形态的复杂性、潜在病害的多样性以及空间分布的未知性，对GPR图像的解析仍主要依赖于人机交互，而该方式无法满足大范围城市地下空间探测普查的需求。
目前针对GPR数据的地下目标探测方法主要分为两类，即传统机器学习方法与深度学习方法。传统机器学习方法包括基于霍夫变换提取双曲线特征检测法[3-4]、基于模板匹配的双曲线特征检测法[5-6]、基于特征的梯度方向直方图(histogram of oriented gradients, HOG)和基于哈尔特征学习算法[7-8]等。基于霍夫变换提取双曲线特征检测法受限于处理和离散化大量参数而导致的巨大计算量。基于模板匹配的双曲线特征则需要手工设计大量参数刻画不同的目标特征。而基于特征的梯度方向直方图和基于哈尔特征学习算法的GPR图像地下目标检测方法的自动化和准确率需要进一步提高。近年来，基于深度学习的光学图像目标检测取得了突破性进展[9-12]并在遥感图像识别领域逐渐普及[13-14]。在GPR图像目标检测方面，针对具有双曲线回波特征的地下目标检测，有学者提出了基于FASTER RCNN深度学习方法[15]。虽然无须手工刻画目标特征且检测精度上显著提高，但该类方法与传统GPR目标检测方法一致，通常依赖GPR影像中定位提取双曲线回波特征，实现管道[3-8, 16]、地雷[17]等单类地下目标的识别与提取。城市道路地下目标分布未知且复杂多样，现有方法无法精准定位和提取地下埋藏的多类目标，且时效性难以满足城市道路埋藏物调查对检测效率、目标种类与提取精度方面的实际需求。
针对以上问题，本文提出一种车载探地雷达城市道路地下多目标实时探测方法，分析并确定了GPR影像中7类可识别的城市道路地下空间典型目标(即：雨水井，电缆，稀疏、密集钢筋网，金属、非金属管，空洞)，并根据其反射信号特征，创建了典型城市道路GPR地下目标样本库。通过迁移学习的方法，使用扩容后的数据精调已在ImageNet等[18-20]大型数据集上训练后的预训练权重，实现端到端的实时精确检测。
本文提出的基于深度学习的GPR图像地下目标探测方法的流程如图1所示，该方法的关键步骤包括：
图 1 卷积神经网络GPR图像地下目标检测框架
Fig. 1 Target detection from GPR imagery based on convolutional neural network
(1) 构建地下目标样本数据集。主要通过人机交互的方式完成地下目标样本标注并进行数据增容，完成地下目标标准数据集的构建。
(2) 采用联合训练机制训练卷积神经网络，联合ImageNet数据集、COCO数据集、PASCAL VOC数据集训练Darknet-53[21]卷积神经网络，获得预训练神经元参数集合。
(3) 训练与推想(Inference)卷积神经网路。采用迁移学习方法，先冻结网络前50层参数集，使用GPR标注数据集训练网。
(4) 网络精调(Fine-tune)51—53层网络权重参数，获得GPR图像地下目标提取卷积神经网络第一阶段参数集，后解冻前50层参数集进行全层训练，训练出可以实时预测多个边界框位置及多个类别的模型。最后载入网络训练后的模型，进行前向传播，推想获得测试数据集中地下目标的位置与类别信息。
1.1 构建地下目标训练数据集
针对城市地下空间的几类典型目标(如雨水井、电缆等)训练样本数量不足的问题，本文基于实测的车载GPR图像，利用albumentations[22]库增加实测GPR图像的样本，同时顾及GPR图像的分辨率和地下目标的特征，对GPR图像进行增强、随机裁剪、小角度旋转、模糊化和镜像翻转等处理，从而获得足够的样本对卷积神经网络进行训练。表 1为城市地下空间7类典型目标波形特征表。样本标注过程以表中列举的波形特征作为依据。
表 1 地下空间7类典型目标波形特征表
Tab. 1 Seven types of typical target waveform characteristics table in underground space
| 样本 | 类别 | 特征 |
| 雨水井 | 自顶而下，波形杂乱，黑白相间，与周围波形比较具有突变性 | |
| 稀疏钢筋网 | 有黑白相间同相轴，抛物线状，反射强度弱于金属管，成群离散分布 | |
| 密集钢筋网 | 黑白相间条状，存在密集波形条纹，反射强度弱于金属管和空洞，连续条状分布 | |
| 空洞 | 黑白相间的干涉条纹，与周围波形比较具有突变性，较为平滑且模糊 | |
| 金属管 | 抛物线顶部为管线位置，可以清楚看到白色、黑色、白色相间，单曲线回波特征明显 | |
| 非金属管 | 抛物线顶部为管线位置，可以清楚看到白色、黑色、白色相间，双曲线回波特征明显 | |
| 电缆 | 自上而下，一系列非常明显且有规律的抛物线形多次回波特征明显 |
1.2 地下目标检测骨干网络
Darknet-53兼顾网络复杂度与检测准确率，与常用的目标检测特征提取网络VGG-16[23-24]相比不仅运算量更少、模型更轻量且有更强的特征提取能力。
图2展示了Darknet-53的结构。它由连续的3×3和1×1卷积核组成，在充分提取图片特征的情况下减少了网络参数量。借鉴Resnet思想加入残差(Res)块以解决网络因层数较深而导致的梯度弥散或者梯度爆炸的现象[23]，将传统深层神经网络的逐层训练调整为逐阶段训练。除此以外，各卷积层后都接有Batch_Normalize(BN)层[25]和LeakyReLU层[26]，简化计算量的同时加速收敛，并且防止模型过拟合。
图 2 Darknet-53网络结构
Fig. 2 Darknet-53 network
1.3 神经网络训练与推想
本文的网络训练方法遵循YOLO v3[21]提出的网络训练方法，网络使用由k均值聚类得到的锚框(anchor box)来辅助预测边界框，并且训练逻辑回归分类器预测每个边界框的对象分数。每个框可以预测边界框包含的多个类别。神经网络直接对GPR图像进行卷积后形成特征图，并对特征图逐格预测地下目标位置和概率。算法核心在于将地下目标检测问题转化为回归问题，实现了端到端(end to end)的检测。
输入GPR图像后，经CNN卷积形成N×N的特征图(feature map)，由于YOLO v3的多层检测，N的取值分别为13、26、52。如果目标的中心落在某个网格单元中，那么该网格单元就负责推理该目标。本文方法中设置每个网格单元都会预测3个边界框，如原始框架一样，则每个边界框输出12个预测结果，即x、y、w、h，置信度和7个条件类别概率。(x，y，w，h)是通过原始预测结果计算出来的绝对坐标，x、y表示边界框的中心相对于图片边界的值，w、h则是边界框的长、宽。置信度计算公式为
如果真实标签框(ground truth)的中心不落在该单元格，则置信度为零。否则，置信度分数等于预测框与真实标签框之间的交并比(IOU)。另外，每个格网预测了7个条件类别概率Pr(Class|Object)，这些概率是以网格单元包含目标为条件。每个框特定类别的置信度计算公式如下
本文使用输出和实际N×N×(2×5+7)维向量的平方和误差作为损失函数优化参数，在计算损失函数时为了加强对小目标的检测引入λcoord=(2-truthwtruthh)修正坐标误差，而λobj和λclass均设置为1使得模型在训练中可以收敛。最终的loss函数为
损失函数主要分为3大部分, 坐标损失、置信度损失及分类损失。损失函数中maxIOU表示该cell预测的框与真值框的最大IOU，Thresh为预先设置的阈值0.6。bijk0为预测框体的置信度，truthkr和bijkr分别表示真实框体的坐标和预测框体的坐标，最后truthc和bijkc则分别表示真实框体的类别和预测框体的类别。Loss依旧沿用YOLO v1采用SSE(the sum of squares due to error)计算。
YOLO v3算法设计中采用多标记分类，从而强化了边界框包含多类别的能力。通常一个目标往往只落在一个网格单元中，然而一些大目标或接近多个网格单元的边界的目标能被多个网格单元预测。YOLO v3之前的YOLO算法只能为每个目标预测一个边界框，因此模型极可能会发生漏检现象。与YOLO9000[27]不同，YOLO v3摒弃了对于提升网络检测多目标性能具有一定局限性的softmax函数[21]，而是使用单独的逻辑分类器进行多标签预测，并且在训练过程中，使用了二元交叉熵损失计算类别损失。
本文方法使用Adam[28]替代了传统随机梯度下降(stochastic gradient descent, SGD)优化算法。与深度学习其他优化算法类似，在训练数据的基础上反向传播后迭代地更新神经网络权重，是一种参数自适应学习率的方法。由图 3中loss下降曲线可知，在训练数据集上经过约85个epochs迭代训练后loss值不再变化，最终得到稳定模型，在Keras上Loss稳定值约为5。
图 3 Loss值曲线图
Fig. 3 The line chart of Loss value
地下目标检测的步骤是先对输入的GPR图像进行特征图的提取，后逐格网判断其中是否含有地下目标。与网络训练过程前向传播相同，输入的GPR图像中地下目标只需要进行一次预测，即可得到每张图像中可能目标的边界框和每个框的目标类别及其概率，后根据预先设置的阈值提炼预测结果。根据实际情况，本文将IOU阈值设置为0.3，置信度阈值设置为0.5。
为验证本文方法的有效性，分别利用SIR-30车载GPR系统采集的深圳市彩田路中往返两条路线的GPR数据进行试验验证(图 4)。GPR采集原理如图 5(a)所示，本次试验数据样例如图 5(b)所示，其中右侧单点波形对应红线标注位置。GPR采集频段、采集范围与场景类别见表 2。为了保证模型收敛而不过拟合，本文对数据进行了增容，增容后保证loss收敛于一个合适范围。表 3展示了专家解译的样本数量和数据增容后的样本数量。
图 4 SIR-30车载雷达深圳市测试路段(谷歌地球)
Fig. 4 SIR-30 vehicle radar Shenzhen test section(Google Earth)
图 5 SIR-30车载雷达工作原理及样例
Fig. 5 Working principle and sample of SIR-30 vehicle-borne radar
表 2 GPR设备与试验测试区域Tab. 2 GPR equipment and test area
| 仪器型号 | 天线中心频率/MHz | 地点 | 场景类别 | 采集长度/km | 扫描方式 |
| SIR-30 | 400 | 深圳彩田右车道 | 城市 | 4.52 | 车载连续 |
| SIR-30 | 400 | 深圳彩田左车道 | 城市 | 4.66 | 车载连续 |
表 3 扩容后不同类别样本统计Tab. 3 Statistical quantitative table of samples of different categories after expansion
| 类别 | 数量 | |
| 人工解译 | 增容后 | |
| 雨水井 | 57 | 570 |
| 电缆 | 32 | 581 |
| 金属管 | 42 | 571 |
| 非金属管 | 17 | 246 |
| 稀疏钢筋网 | 87 | 264 |
| 致密钢筋网 | 92 | 307 |
| 空洞 | 162 | 494 |
| 总计 | 489 | 3033 |
2.1 地下目标探测结果
本文的测试数据为SIR-30车载探地雷达系统以400 MHz频率获取的深圳市数据。图 6为训练后的神经网络识别GPR波形图像数据中雨水井、稀疏/密集钢筋网、桥梁、金属/非金属管道、电缆等目标的试验结果。深度学习预测结果表明，本文提出的方法能够根据GPR图像对地下目标的类型与位置进行准确的探测与定位。
图 6 GPR图像地下目标识别结果
Fig. 6 Underground target detection from GPR imagery
2.2 地下目标探测结果评价
在地下目标探测的分类任务中，通常利用准确率(precision)和召回率(recall)这两项指标对网络模型的性能表现进行衡量，并且计算F1 score来综合评价precision和recall。在分类任务中，准确率表示被正确识别分类目标占总目标的比例。而召回率表示在某类别目标最终被划分到该类目标的比例。准确率体现了模型对影像中背景的区分能力，准确率越高说明检测模型对复杂背景的区分能力越强。召回率体现了模型对GPR影像中目标的检索能力，召回率越高说明检测模型对地下目标的探测能力越强。F1 score是两者的综合表达，其分值越高，说明分类模型在高召回的基础上有高精度，即模型越稳健。3个指标的计算公式如下
式中，TP表示正确探测到的目标数量；FP表示未被探测到的目标数量；FN表示错误探测到的目标数量。表 4列出了深圳彩田试验区内一条长距离道路下的GPR图像目标检测结果。
表 4 GPR图像地下目标探测评价
Tab. 4 Evaluation indexes of test results
| 类别 | 指标 | ||
| 召回率 | 精度 | F1值 | |
| 雨水井 | 0.912 | 0.954 | 0.932 |
| 电缆 | 0.923 | 0.857 | 0.889 |
| 金属管 | 0.852 | 0.920 | 0.885 |
| 非金属管 | 0.833 | 0.833 | 0.833 |
| 稀疏钢筋网 | 0.942 | 0.867 | 0.903 |
| 密集钢筋网 | 0.969 | 0.839 | 0.900 |
| 空洞 | 0.816 | 0.816 | 0.816 |
| 均值 | 0.892 | 0.869 | 0.880 |
实际的试验结果表明本文设计的深度学习方法的最终recall、precision、F1 score的均值在85%以上。3项指标的综合评价可以看出本文设计的深度学习方法对于GPR图像地下目标探测与缺陷检测十分有效。实际场景测试结果表明：该方法可对车载GPR图像进行以上7类地下目标的实时探测与定位，在试验平台(GTX1080)上检测速度可达16帧/s，满足实际工程实时检测需要。
2.3 与其他GPR目标探测方法对比
本文选用3种其他GPR目标探测方法与本文方法进行对比，包括两种传统方法，即模板匹配算法[5]与HOG+SVM[7], 一种深度学习方法，即Faster RCNN[15]。
由于传统方法仅能完成单目标识别，为保证试验对比公平性，采用金属管类别对4种方法的召回率、精度、F1值、耗时进行统计。对比结果见表 5。对比传统方法，深度学习的方法(Faster RCNN，本文方法)取得了较大的领先，F1达到88%以上水平，传统方法分别为77%与69%。在耗时方面，深度学习类方法也领先于传统方法一个数量级。其中Faster RCNN取得了最优的F1值，相较于本文方法有0.7%的提升。但其在检测时间上却是本文方法的近5倍，难以做到实时检测，且在实际训练中更加耗时。检测效率对道路检测来说是极其重要的，所以相对于Faster RCNN，本文方法更具实际使用价值。
表 5 与其他目标检测方法的比较
Tab. 5 Comparison of ours results with other target detection methods
| 方法 | 指标 | |||
| 召回率 | 精度 | F1值 | 耗时/s | |
| 模板匹配算法 | 0.64 | 0.762 | 0.695 | 6.42 |
| HOG+SVM | 0.733 | 0.827 | 0.777 | 1.55 |
| Faster RCNN(Resnet50) | 0.854 | 0.933 | 0.892 | 0.27 |
| 本文方法(Darknet53) | 0.852 | 0.920 | 0.885 | 0.06 |
为解决城市道路地下多目标高效精准探测问题，本文提出一种车载探地雷达城市道路地下多目标实时探测方法，并通过城市道路GPR数据验证了方法的检测能力，证实通过GPR数据深度学习手段进行地下多目标检测的可行性。本文方法克服了传统单一地下目标检测的局限，通过7类地下目标波形特征人工制作GPR影像数据集进行训练，使用图像增容和迁移学习联合方法对参数进行微调，最终实现了可端到端实时精确检测地下多目标的检测模型。模型检测结果证明了深度学习方法对GPR影像中地下多类目标进行检测的有效性，相比于传统方法在GPR影像地下单目标检测上的性能，本文的深度学习方法在检测效率和性能上更具优势。目前，本文的方法仅探测到目标的类别与位置，下一步将结合地下目标的结构信息(埋深、面积、长宽比等)构造特征空间，并使用随机森林提取这些特征用于辅助判断目标类别，从而进一步提升探测质量。
第一作者简介：杨必胜（1974—），男，工学博士，教授。研究方向为：激光扫描测量与无人机摄影测量，点云智能处理与深度学习，地理空间智能与GIS应用
Email:bshyang@whu.edu.cn
第二作者简介：宗泽亮（1996—），男，硕士生，研究方向为计算机应用技术
Email:zlzong@whu.edu.cn.
第三作者（通信作者）简介：陈驰（1989—），男，博士，副研究员。研究方向为：无人机/车载/机器人多源移动测量数据融合方法与应用研究Email:Chichen@whu.edu.cn.
第四作者简介：孙文鹿（1997—），女，硕士生，研究方向为摄影测量与遥感
Email：2015301610165@whu.edu.cn.
第五作者简介：米晓新（1993—），女，博士生，研究方向为车载点云分割、目标提取及建模
Email:653731723@qq.com.
第六作者简介：吴唯同（1995-），男，博士生，研究方向为多传感器融合SLAM
Email:weitongwu@whu.edu.cn.
第七作者简介：黄荣刚（1988—），男，工学博士，副研究员，研究方向为激光雷达数据处理
Email:gang3217@apm.ac.cn .
杨必胜教授团队长期从事三维地理信息获取与分析方面的理论与方法研究，创新性提出了“广义点云（ubiquitous point cloud for mobile mapping）”的科学概念，解决了多源数据融合处理、三维点云地物目标三维提取、三维点云场景动态理解等核心问题，系统地构建了“广义点云”多细节层次三维建模的理论与方法，并取得了如下创新研究成果:
（1）提出了广义点云的科学概念，构建了其数据模型，被国际摄影测量与遥感学会遴选为2016-2020的重要研究主题之一；
（2）建立了三维实体目标精准提取方法，具有参数少，精度高优点，被国际知名同行评价为国际学术研究的前沿；
（3）发展了三维点云场景渐进式多尺度分析方法，实现场景—对象—关系的高效计算与分析，研制了具有自主知识产权的三维地理信息提取软件，高效服务我国南方电网电力走廊三维安全监测、三维高精度导航地图生产等重大工程。
实验室简介
武汉大学测绘遥感信息工程国家重点实验室，是测绘、遥感、地理信息教学与研究的重要基地，连续四次被评为地学领域优秀国家重点实验室。实验室研究团队长期从事智能测绘平台集成研发、环境感知、建模与分析等研究工作，承担了包括国家重点研发计划重点专项、国家973计划项目等在内的数百项重要课题。实验室在多元环境综合感知、智能测绘等领域有一批具有创新能力和发展潜力、综合素质优秀的人才队伍。
内容转载、商务活动、投稿等合作请联系
微信号：huitiandi321
邮箱：geomaticshtd@163.com
欢迎关注慧天地同名新浪微博：
ID：慧天地_geomaticser
《慧天地》敬告
《慧天地》公众号聚焦国内外时空信息科技前沿、行业发展动态、跨界融合趋势，探索企业核心竞争力，传播测绘地理信息文化，为测绘、地信、遥感等相关专业的同学提供日常学习、考研就业一站式服务，旨在打造政产学研用精准对接的平台。《慧天地》高度重视版权，对于原创、委托发布的稿件，会烦请作者、委托方亲自审核通过后才正式推发；对于来自网站、期刊、书籍、微博、微信公众号等媒介的稿件，会在作者栏或者文章开头显著标明出处，以表达对作者和推文引用平台版权的充分尊重和感谢；对于来源于网络作者不明的优质作品，转载时如出现侵权，请后台留言，我们会及时删除。感谢大家一直以来对《慧天地》的关注和支持！