论文推荐 | ​赵传：基于深度残差网络的机载LiDAR点云分类

《测绘学报》

构建与学术的桥梁        拉近与权威的距离

基于深度残差网络的机载LiDAR点云分类

赵传, 郭海涛, 卢俊, 余东行, 张保明     

信息工程大学地理空间信息学院, 河南 郑州 450001

收稿日期：2019-01-02；修回日期：2019-08-29

基金项目：国家自然科学基金（41601507）

第一作者简介：赵传(1991-), 男, 博士生, 研究方向为点云数据处理、基于点云数据的建筑物三维模型重建。E-mail:[e-mail]

摘要：机载LiDAR点云的分类是利用其进行城市场景三维重建的关键步骤之一。为充分利用现有的图像领域性能较好的深度学习网络模型，提高点云分类精度，并降低训练时间和对训练样本数量的要求，本文提出一种基于深度残差网络的机载LiDAR点云分类方法。首先提取归一化高程、表面变化率、强度和归一化植被指数4种具有较高区分度的点云低层次特征；然后通过设置不同的邻域大小和视角，利用所提出的点云特征图生成策略，得到多尺度和多视角点云特征图；再将点云特征图输入到预训练的深度残差网络，提取多尺度和多视角深层次特征；最后构建并训练神经网络分类器，利用训练的模型对待分类点云进行预测，经后处理得到分类结果。利用ISPRS三维语义标记竞赛的公开标准数据集进行试验，结果表明，本文方法可有效区分建筑物、地面、车辆等8类地物，分类结果的总体精度为87.1%，可为城市场景三维重建提供可靠的信息。

关键词：点云分类    深层次特征    多尺度和多视角    迁移学习    深度残差网络    机载LiDAR    

Airborne LiDAR point cloud classification based on deep residual network

ZHAO Chuan, GUO Haitao, LU Jun, YU Donghang, ZHANG Baoming     

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China

Foundation support: The National Natural Science Foundation of China (No. 41601507)

First author: ZHAO Chuan(1991—), male, PhD candidate, majors in point cloud data processing and building 3D model reconstruction based on point cloud.E-mail:[e-mail].

Abstract: Airborne LiDAR point cloud classification is one of the key steps for three-dimensional reconstruction of urban scenes. To leverage the existing high-performing deep learning network model in image field of image processing, improve classification accuracy and reduce training time and demand for training samples simultaneously, an airborne LiDAR point cloud classification method based on deep residual network is proposed in this paper. Firstly, high discriminative low-level features, i.e. normalized height, point cloud normal vector, intensity and normalized differential vegetation index, are extracted. Secondly, by setting different neighborhood sizes and perspectives, multi-scale and multi-view point cloud feature images are generated via using the proposed point cloud feature image generation strategy. Then, point cloud feature images are input into the pre-trained deep residual network to extract multi-scale and multi-view deep features. Finally, a neural network classifier is constructed and trained, point cloud classification results are obtained by utilizing the trained classifier and postprocessing. Benchmark datasets of ISPRS 3D Semantic Labeling Contest are used, the experimental results show that the proposed method can effectively distinguish 8 types ground objects such as buildings, ground and vehicles etc., and the overall accuracy of the classification result is 87.1%, which can provide reliable information for three-dimensional reconstruction of urban scenes.

Key words: point cloud classification    deep feature    multi-scale and multi-view    transfer learning    deep residual network    airborne LiDAR    

机载激光扫描(light detection and ranging, LiDAR)作为一种可直接快速获取大范围、高精度和高密度的地物三维点云的空间信息采集技术，在近些年得到了长足的发展，通过其获取的点云数据在城市三维建模^[1-2]、电力线巡线与重建^[3-4]、海洋测深^[5]、生物量估算^[6]等诸多领域都有着十分广泛的应用。然而，由于机载LiDAR点云数据仅为空间中的离散点集，难以直接从中得到物体表面的语义信息，因此在其后处理阶段仍面临很多需要解决的问题^[7]。其中，点云分类作为机载LiDAR点云数据后处理的关键环节之一，已受到了广泛的关注，但由于受到点云数据的固有特性(如分布不规则、密度不均等)、现实场景复杂性等多种因素的影响，实现自动化、高精度的点云分类仍具有较大的挑战^[8]。

目前，国内外很多学者针对机载LiDAR点云分类问题进行了广泛且深入的研究，提出了大量的分类方法。对于已有的机载LiDAR点云分类方法，根据分类时利用的点云特征类型可分为基于点云低层次特征和深层次特征的分类方法。针对前者的研究较多，其依赖于人工设计的点云低层次特征，采用非监督、监督或组合这两种方式实现点云分类。其中，非监督方式的点云分类方法根据地物特性设计特定的规则将点云分为少数几类地物^[9]，如点云滤波、特定地物目标(如建筑物、树木等)的提取等广义的点云分类^[10]，其无需训练样本，但依赖较多的阈值，且受场景复杂度的影响较大，适应性相对较差；监督方式的点云分类方法的核心是利用单一或多种浅层机器学习算法，如SVM^[11]、IVM(information vector machine)^[12]、AdaBoost^[13-14]、JointBoost^[15]、RF(random forest)^[8, 16]、CRF(conditional random fields)^[16]等，从训练样本中学习超平面参数，进而将点云特征空间分为多个子空间实现分类，该类算法充分利用了训练样本中的先验信息，适应性有所提高，但分类时仍仅利用了点云低层次特征，并没有学习到更高层次的特征，因此分类精度难以进一步提高；结合非监督和监督两种方式的点云分类通常先设置特定的规则以非监督的方式对点云进行预处理(如先进行区域增长、体素分割等)^[17]，然后利用浅层机器学习算法以监督的方式实现分类，这类算法较好地顾及了邻域点的同质性，方法的效率和分类精度都有一定的提高。

近年来，随着深度学习的发展及其在计算机视觉、图像处理等领域的广泛应用^[18]，基于点云深层次特征的分类方法逐渐引起了学者们的关注，其利用深度学习直接从原始点云^[19]或间接地从点云低层次特征中提取深层次特征^[20-22]，并采用监督的方式实现点云分类。这类点云分类方法在分类过程中可自动提取用于分类的深层次特征，因此减少了烦琐的人工设计点云低层次特征的工作量，降低了分类难度，同时由于深层次特征强大的表示能力，使分类精度也得到了进一步提高^[23]。然而，目前用于点云分类的深度神经网络通常包含大量的参数，需要较多的训练样本和时间，这在一定程度上限制了深度学习在机载LiDAR点云分类中的进一步应用。

针对基于点云低层次特征的分类精度较低、基于点云深层次特征的分类效率有待提高等问题，本文首次将迁移学习引入机载LiDAR点云分类中，提出一种基于深度残差网络(deep residual network, DRN)的机载LiDAR点云分类方法，以期在降低网络模型的参数、训练时间和对训练样本数量要求的同时，提高机载LiDAR点云分类精度。

1 基于DRN的机载LiDAR点云分类

为了充分利用现有用于图像处理的神经网络，本文首先计算点云低层次特征并利用所提出的点云特征图生成策略将机载LiDAR点云转换成图像，然后引入迁移学习的思想，采用预训练DRN模型提取点云的多尺度和多视角(multi-scale and multi-view, MSMV)深层次特征，再构建简单的神经网络进行分类，并经过后处理得到最终分类结果。基于该思想，可得到本文提出的基于DRN的机载LiDAR点云分类方法流程，如图 1所示。

图 1 基于DRN的机载LiDAR点云分类流程Fig. 1 Airborne LiDAR point cloud classification based on DRN

图选项 

1.1 低层次特征的提取

为了生成点云特征图，首先需要提取具有较高区分度的低层次点云特征。目前，研究者们根据机载LiDAR点云的特点和不同地物的属性，设计了多种点云特征，其中应用较多的主要有：①归一化高程、邻域内高程方差和标准差等高程相关的特征；②平面性、球面性、线性、各向异性、法向量、平均点间距、平面拟合残差等描述局部邻域空间几何特性的特征；③回波次数、强度等回波特征；④光谱特征。此外，还有一些针对特定目标设计的点云特征，如电力线形状描述子^[3]、建筑物指数^[8]等。

尽管目前可用于点云分类的低层次特征类型繁多，但由于部分点云特征之间存在相关性，因此仅依靠增加分类时的点云特征类别数难以进一步提高分类精度，反而会降低分类的效率。为在不降低分类精度的同时提高算法效率，很多学者研究了点云特征重要性分析与降维的算法^{[8, 16, 24]}，并得到了归一化高程在所有用于机载LiDAR点云分类的特征中最为重要的结论。同时，表面变化率作为物体表面粗糙度的一种度量，有利于区分如植被和屋顶面等地物。此外，点云强度信息可有效区分表面材质不同的地物，如建筑物屋顶、道路、车辆等，因此利用强度信息进行点云分类有助于提高分类精度^[25]，光谱信息则有利于区分植被和其他地物。综合考虑，本文选取点云表面变化率、强度、归一化植被指数和归一化高程4种低层次特征作为生成点云特征图的RGB 3个通道，其中强度和归一化植被指数的乘积为绿色通道。

1.2 点云特征图的生成

将点云转换成图像进行分类通常会降低分类精度，主要原因在于将点云作为一个整体从高维空间转换到低维平面会导致信息的损失，而逐点转换为特征图虽然将点云从三维空间转换到二维平面，会损失邻域点云空间分布信息，但由于各点的特征图同时包含自身及其邻域点的信息，因此一定程度上增加了点云的冗余信息。尽管文献[20—22]提出了不同的点云特征图生成方法，但其本质上是将各点平面邻域内的点直接投影到平面，虽然通过深度学习也能得到较好的结果，但相较于传统的分类方法，分类精度提高幅度不大。为此，本文提出一种新的点云特征图生成策略，其主要过程如图 2所示。

图 2 点云特征图生成过程Fig. 2 Process of point cloud feature image generation

图选项 

如图 2(a)所示，对于任一点P，选取其立方体邻域投影到x-y平面，其中邻域大小由待生成点云特征图分辨率ω和长宽决定(本文设置生成的点云特征图长宽均为l_wh)，投影结果如图 2(b)所示。由于点云具有分布不规则、密度不均等特性，会导致点云特征图的部分像素格网中包含多个点，而有些像素格网中不存在点，因此需要通过内插的方式确定像素值。文献[22]采用自然邻域内插法将投影后点云的特征值进行内插，这种方式会使不同地物边界的点云特征图难以区分，从而导致地物边界的点云分类效果较差。为解决这个问题，本文提出先内插像素格网的高程，再内插像素值的策略，具体过程如下：

(1) 根据点P的坐标(X_P, Y_P)、地面分辨率ω和点云特征图的长宽l_wh，利用式(1)计算当前像素格网点P_i,j的坐标(X _P i,j, Y_P i,j)

 (1)

式中，i、j分别邻域点在特征图中的行列号；[]代表取整。

(2) 在点P的邻域点集内搜索离当前像素格网点P_i, j最邻近的n个邻域点(本文设置n=3，下同)，利用式(2)所示的加权反距离(inverse distance weighted, IDW)算法内插当前像素格网点 P_i, j的高程Z_P i, j

 (2)

式中，Z_S代表高程；P_k为点P_i, j的最邻近点；d_k为点P_k到像素点P_i, j的平面距离。

(3) 通过前面两个步骤可得到P_i, j的空间坐标(X_P i, j, Y_Pi, j, Z_P i, j)，再从输入点云中搜索P_i, j最近的n个邻域点，然后仍利用IDW算法计算当前像素格网点P_i, j的RGB 3个通道的像素值。

通过设置图像分辨率ω，利用本小节的点云特征图生成策略，可以得到单一尺度下的点云特征图，如图 2(c)所示。一般地，利用多尺度点云特征能得到更高的分类精度^[16]，但不同尺度下得到的点云特征存在相关性，因此仅通过增加尺度数量难以较大幅度地提高分类精度。考虑到现实场景中存在如建筑物立面等垂直于地面的地物，选取其立方体邻域进行投影时得到的结果近似一条直线，难以与其毗连地物的边界区分，因此本文提出首先计算不同“视角”下的点云，然后采用本节提出的策略生成点云特征图。

为了得到不同视角下的点云，需要改变观测点云的位置，本文通过设置固定角度α对点云进行旋转实现不同视角下点云的获取。考虑到采用较大角度对点云进行整体旋转，会增加不同地物交界处点云的重叠度，导致生成点云特征图相似性的增加，降低分类精度，因此本文仅采用较小的角度进行旋转，即设置α=3°。具体地，采用式(3)、式(4)对点云进行旋转以得到两种不同视角(分别记为V₂，V₃)下的点云(如图 3所示)

图 3 多视角下的点云Fig. 3 Point cloud in multi-views

图选项 

 (3)

 (4)

式中，X, Y, Z为原始点云的坐标值；X_V*, Y_V*, Z_V*为不同视角下点云的坐标值。

然后将旋转后的点云高程值还原，并设置相同的ω生成多视角点云特征图。

本文通过设置3个不同的图像分辨率得到多尺度点云特征图，同时为两个不同视角特征图设置相同的图像分辨率以得到多视角点云特征图。由于尺度1实际上也即旋转角α=0°的情况下得到，因此最终为每个点生成了3幅不同尺度(分别记为S₁—S₃)和3幅不同视角(分别记为视角V₁—V₃)的点云特征图，记该组合方案为S₃V₃(其中S代表尺度；V代表视角；3代表尺度或视角的数量，下同)。

1.3 点云深度特征的提取

深度学习通过组合低层次特征的方式从数据中自动提取能反映目标内在属性的深层次特征，因此相比低层次特征，深层次特征的泛化性更强。然而，构建并训练一个完整的深度神经网络需要大量训练样本和训练时间，且由于深度神经网络中通常涉及较多需要调整的参数，而目前通常只能根据多次试验获得最优参数，导致调参过程十分烦琐。为了解决上述问题，研究者们提出迁移学习的思想，通过将源任务的知识迁移到新任务中实现降低深度神经网络的模型复杂度、训练时间及对样本数量的要求。文献[26]将深度迁移学习分为基于实例、映射、网络和对抗的深度迁移学习4类，其中基于网络的深度迁移学习通过复用现有深度网络的结构和参数实现将源任务中的知识迁移到新任务中，可避免烦琐的网络结构设计及减少训练所需时间。同时，文献[26]也指出，LeNet、AlexNet、VGG(visual geometry group)、Inception、ResNet(residual networks)是深度迁移学习较好的网络模型选择。此外，大型自然图像训练数据集ImageNet^[27]的提出，为保证深度学习网络模型的泛化性提供了较好的数据支持^[28]。文献[28]表明，ResNet的迁移能力始终优于其他在ImageNet上取得更高准确率的网络，因此本文采用在ImageNet上预训练的50层残差网络(ResNet50)^[29]提取点云深层次特征(deep feature, DF)。

为了得到MSMV深层次特征，将1.2节中生成的多尺度和多视角点云特征图输入预训练的ResNet50网络模型，提取MSMV深层次特征，其流程如图 4所示。

图 4 MSMV深度特征提取过程Fig. 4 Process of MSMV deep feature extraction

图选项 

1.4 分类模型构建与后处理

基于预训练ResNet50网络模型提取的MSMV深层次特征理论上具有较好的泛化性，但为了更好地实现迁移学习并得到更高的分类精度，同时降低最终分类时的深层次特征维度，本文设计一个简单的神经网络作为最终的分类器。考虑到神经网络层数越深，其复杂度和训练时间通常都会增加，因此本文设计了仅包含两层全连接层的FCN(fully connected network, FCN)和两层卷积层的卷积神经网络(convolutional neural network, CNN)模型，其结构如图 5所示。图中，FCN下的数字代表该层所包含的神经元个数，CNN下的数字代表卷积通道和卷积核大小，C代表最终分类的地物类别数。

图 5 点云分类神经网络模型Fig. 5 Neural network model for point cloud classification

图选项 

构建分类神经网络模型后，采用目前最为常用的交叉熵损失函数，并利用训练数据训练该分类器，再利用训练好的模型预测待分类点云以得到初始分类结果(即点云属于各地物类别的概率)。由于在点云分类时没有考虑上下文信息，导致得到的分类结果存在不同质的现象。为此，本文构建图模型对初始分类结果进行后处理，以结合上下文信息得到邻域更为一致的分类结果。具体而言，首先利用点云的k邻域构建无向图，并定义如式(5)所示的能量函数，然后采用α-expansion^[30]算法迭代求解，得到最终的分类结果

 (5)

式中，V_x代表无向图的节点集合；i、j为V_x中的相邻节点；l_i为节点i所属地物类别；第1项为数据项，D_i(l_i)由节点i及其邻域点所属地物类别的概率计算；第2项为平滑项，ω_ij为i, j节点间的权重，大小等于节点i, j之间距离的倒数，δ₁(l_i, l_j)为指示函数，当l_i=l_j时，取值为1，否则为0；第3项为标签损失项，当节点i的类别在迭代中改变时，δ₂(l_i)为1，否则为0。

2 试验分析与对比2.1 试验数据与方法

为综合验证本文方法的分类性能，选取ISPRS三维语义标记竞赛的两组标准点云数据进行试验，分别记为Training和Eval。两组点云数据均于2008年8月利用ALS50系统在航高约500 m、视场角45°的条件下采集，点云密度为4~8个/m²，且均被人工分类为建筑物屋顶、低矮植被等9类地物，标准分类结果由ISPRS提供，图 6为其按光谱和高程着色的结果，两组数据中各类地物的点数详细信息如表 1所示(由于电力线点数过少，本文分类时未考虑该类别)。

图 6 两组试验数据(按光谱和高程着色)Fig. 6 Two experimental datasets (Colored by spectral and height)

图选项 

表 1 两组点云数据的详细信息Tab. 1 Details of the two point cloud datasets

类别	低矮植被	地面	车辆	篱笆	建筑物屋顶	建筑物立面	灌木	树木	总和
Training	180 850	193 723	4614	12 070	152 045	27 250	47 605	135 173	753 330
Eval	98 690	101 986	3708	7422	109 048	11 224	24 818	54 226	411 122
总和	279540	295 709	8322	19 492	261 093	38 474	72 423	189 399	1 164 452

表选项 

本文设置不同尺度的点云特征图分辨率ω分别为0.1、0.2、0.3 m，不同视角的ω均为0.1 m，生成的点云特征图长宽l_wh=33，学习率为1e-4(每10个批次减小为原来的一半)，批大小(Batch Size)为256，轮次(epoch)为100，并分别从Training和Eval数据集的每类地物选取2000、1500和1000个点作为训练样本、选取800和200个点作为验证样本组成3组训练数据集进行试验(分别记为D_T1、D_T2和D_T3，并满足D_T3⊂D_T2且D_T2⊂D_T1)。

所有试验的硬件环境为CPU Intel Core i7-7700HK，RAM 64 GB，GPU NVIDIA GTX1080Ti 11 GB的工作站，软件环境为装有Python3.6、TensorFlow和Keras的Ubuntu16.04系统。试验结果采用几种常见的评价指标进行评价，包括精度(precision)、召回率(recall)、F₁得分(F1 score)和总体分类精度(overall accuracy, OA)。考虑到训练神经网络时具有一定的随机性，所有试验均重复3次，取各试验中总体分类精度中值对应的各项指标作为最终评价结果。

2.2 试验1：尺度和视角数量的影响

为了验证尺度和视角数量对本文方法分类精度的影响，本文通过删减部分尺度和视角特征图进行试验。记删减后的组合方案分别为S₃V₂、S₂V₃、S₂V₂、S₃V₁和S₁V₃，本文试验中涉及的不同组合方案详情如表 2所示。

表 2 不同组合方案详情Tab. 2 Details of different combination schemes

组合方案	S3V3	S3V2	S2V3	S2V2	S3V1	S1V3
组合情况	S1~S3和V1~V3	S1~S3和V1~V2	S1~S2和V1~V3	S1~S2和V1~V2	S1~S3和V1	S1和V1~V3

表选项 

图 7为不同组合方案利用D_T1训练得到分类模型后预测两个区域点云数据的各项评价指标统计结果。由图 7(a)—(c)可知，屋顶和树木两种地物各项评价指标受尺度和视角特征图数量变化的影响较小，对于其他几类地物，随着尺度和视角特征图的增加，各项评价指标基本呈上升趋势。从图 7(d)可知，随着尺度和视角特征图的增加，整体精度在不断提高，分析各种组合策略，可以得到如下结论：①对比S₃V₂和S₃V₁、S₂V₃和S₁V₃可知，无论增加一个尺度还是一个视角的点云特征图，总体分类精度都有一定的提高；②对比S₃V₂、S₂V₃和S₃V₃可知，相比视角特征图，尺度特征图更有利于总体分类精度的提高，但两种特征图在分类中作用相差较小，由于生成尺度较大的点云特征图更耗时间，因此这有利于提高分类效率；③对比S₃V₁、S₁V₃和S₂V₂可知，组合两种类型的特征图比利用单一类型的特征图更有利于分类。综合分析图 7(a)—(d)可知，本文所采用的S₃V₃组合方案所得到的各项分类指标相对更好。

图 7 不同点云特征图组合的评价指标统计结果Fig. 7 Statistical results of evaluation indicators of different combination of point cloud feature images

图选项 

2.3 试验2：训练样本数的影响

通常情况下，训练样本数越多，所能得到的分类精度越高。为了验证训练样本数对本文方法分类精度的影响程度，利用训练数据集D_T1—D_T3进行训练，并统计其预测两个区域测试数据集的精度、召回率和F₁得分，如表 3所示。

表 3 不同训练数据集分类评价指标统计结果Tab. 3 Statistical results of classification indices of different training data sets  

(%)
	精度		召回率		F1得分
DT1	DT2	DT3		DT1	DT2	DT3		DT1	DT2	DT3
低矮植被	91.7	90.5	89.9		80.1	79.8	78.3		85.5	84.8	83.7
地面	94.7	94.6	93.5		92.4	91.6	90.9		93.5	93.1	92.2
车辆	21.2	20.8	19.9		94.9	94.5	94.2		34.7	34.1	32.8
篱笆	44.0	44.5	40.2		94.0	92.0	90.0		60.0	60.0	55.6
屋顶	98.5	98.5	98.3		94.1	93.4	92.9		96.3	95.9	95.5
立面	62.5	59.0	57.5		87.6	87.2	85.6		73.0	70.4	68.8
灌木	58.7	55.7	53.2		76.7	74.5	72.2		66.5	63.7	61.3
树木	95.6	95.5	95.1		91.2	89.7	88.2		93.3	92.5	91.5
平均值	70.9	69.9	68.4		88.9	87.8	86.5		75.4	74.3	72.7

表选项 

基于训练数据集D_T1—D_T3所得分类结果的总体分类精度分别为88.5%、87.7%和86.6%，结合表 3的统计结果可知，随着训练样本的增加，各类地物的各项评价指标基本呈上升趋势，这与实际情况相符。对比不同地物的分类结果可知，地面、屋顶和树木的分类效果最好，主要原因在于这几类地物的低层次特征已具有较高的区分度；对于篱笆和灌木，其低层次特征与其他地物(尤其是和低矮植被)相似性较大，因此存在较多的误分，也导致低矮植被的分类精度和召回率都较低；对于立面和车辆，尽管其召回率较高，但由于有大量建筑物屋顶点误分为立面点，以及大量低矮植被和地面点误分为车辆点，导致其精度很低，这一方面是由于旋转增加了屋顶和立面投影的重叠，另一方面由于高程内插进一步缩小了高程相差较小地物之间的差别，增加了特征图之间的相似性，导致大量误分点，从而降低了其精度。

2.4 性能对比与分析

为与其他方法对比在Training区域的预测效果，参照文献[22]方法(记为NANJ2)的设置，从Training区域每类地物选取4000个点作为训练数据，并预测该区域剩余点，统计本文方法的各项评价指标并与其进行对比，如表 4所示。

表 4 Training区域分类评价指标统计结果对比Tab. 4 Comparison of classification indices of Training dataset (%)

	低矮植被	地面	车辆	篱笆	屋顶	立面	灌木	树木
精度	NANJ2	89.6	93.1	59.9	61.4	97.9	62.6	56.0	95.8
本文方法	91.6	95.3	27.1	46.7	98.8	70.1	61.7	97.7
召回率	NANJ2	84.4	93.1	82.9	83.9	92.7	87.4	78.2	88.7
本文方法	84.2	94.3	92.6	95.8	95.2	88.2	77.5	91.7
F1得分	NANJ2	86.9	93.1	69.5	70.9	95.2	73.0	65.3	92.1
本文方法	87.8	94.8	41.9	62.8	96.9	78.1	68.7	94.6

表选项 

NANJ2采用归一化高程、强度和粗糙度3种点云特征生成多尺度点云特征图，并设计了多尺度CNN提取多尺度深层次特征并进行分类，得到各点的类别概率，然后构建决策树，利用所得到的概率再次进行训练以优化初始分类结果。对比表 4中两种分类方法的各项指标可知，在相同训练样本数量的情况下，本文方法可更好地分类大多数地物，仅对车辆和篱笆两类地物的分类效果较差；NANJ2和本文方法在Training数据集上的总体分类精度分别为89.1%和90.4%，证明了本文方法具有较强的分类能力。

此外，为了与更多分类方法进行对比，选取ISPRS官网上Eval区域总体分类精度排名前5的分类方法的统计结果，利用本文方法基于D_T1—D_T3训练数据集得到的模型单独对Eval数据集进行分类(分类结果分别记为DRN_DT1—DRN_DT3)，并统计F₁得分和总体分类精度，与其进行对比，如表 5所示。

表 5 不同方法F1得分和OA对比Tab. 5 Comparison of F1 scores and overall accuracy of different methods  

(%)
方法	电力线	低矮植被	地面	车辆	篱笆	屋顶	立面	灌木	树木	OA
LUH	59.6	77.5	91.1	73.1	34.0	94.2	56.3	46.6	83.1	81.6
RIT_1	37.5	77.9	91.5	73.4	18.0	94.0	49.3	45.9	82.5	81.6
WhuY3	37.1	81.4	90.1	63.4	23.9	93.4	47.5	39.9	78.0	82.3
WhuY4	42.5	82.7	91.4	74.7	53.7	94.3	53.1	47.9	82.8	84.9
NANJ2	—	88.8	91.2	66.7	40.7	93.6	42.6	55.9	82.6	85.2
DRNDT1	—	87.0	94.3	42.2	65.7	96.0	66.6	71.7	91.8	89.5
DRNDT2	—	86.5	93.9	42.2	65.5	95.5	63.9	68.7	90.8	88.6
DRNDT3	—	84.4	92.9	41.6	60.6	95.2	61.7	65.5	88.8	87.1

表选项 

表 5中，LUH^[31]基于文献[16]的方法进行改进，采用两层层级CRF定义上下文信息实现点云分类；RIT_1^[19]在PointNet^[32]的基础上进行扩展，设计了直接处理点云的全卷积神经网络，采用类似的分块策略对训练数据和待分类点云数据进行处理，最后通过最邻近内插得到待分类点所属的类别；WhuY3^[20]生成了128×128的点云特征图，并设计了含有5个卷积层和2个全连接层的CNN实现深度特征的提取与点云分类；WhuY4^[21]在WhuY3的基础上进行改进，首先进行区域增长，然后生成多尺度点云特征图，设计了类似WhuY3中的CNN从而实现分类。

从表 5中可以看出，本文方法的总体分类精度都较高，即使是基于最少数量的训练数据集D_T3，所得到的总体精度也比ISPRS官网上总体精度最高的方法NANJ2高1.9%。相对于其他几种分类方法，本文方法可一定程度上提高地面和屋顶两类地物的分类精度，同时可较大程度地提高篱笆、立面、灌木和树木几类地物的分类精度。可能的原因有两方面：①本文点云特征图通过先内插高程然后内插特征的方式生成，较好地保留了点云局部邻域的空间分布信息，使这几类地物更易于区分；②预训练的ResNet50提取的深层次特征泛化性较强，有利于区分这几类地物。然而，本文方法难以较好地分类车辆，结合图 7和表 4、表 5的分析可知，主要原因在于较多的其他地物点(如低矮植被、地面等)被误分为车辆，导致其分类精度很低，从而使其F1得分很低。

为了直观地展示本文方法在Eval区域的分类结果，给出了该区域的标准分类结果及与NANJ2方法误分类点的分布图，如图 8、图 9所示。对比图 8(a)—(b)可知，本文方法所得分类结果整体上较好，但也存在一些分类较差的情况，如图中红色方框的放大区域所示。从图 8左下角红色矩形中的区域可以看出，方法能较好地对建筑物、篱笆进行分类，虽然部分建筑物点存在误分的情况(如左下角方框中红色箭头所指屋顶)，但这些点在标准数据中实际为误标记点云；对比图 8(a)—(b))右侧红色矩形中的区域可知，较多的地面点误分类为车辆点，导致车辆点分类精度很低，原因在前文中已进行分析，此处不再赘述；同时，在右上角红色方框中的区域标准数据也存在误分类的现象，如红色方框中的红色箭头所指处；对比图 8(a)—(b)和图 9(b)中右侧椭圆区域可知，本文存在将部分面积较小的屋顶误分为低矮植被的情况，其主要原因与车辆误分为其他地物相同。从图 9(a)—(b)中白色矩形区域可以看出，本文方法分类篱笆、灌木的效果明显优于NANJ2，这与前文的统计结果相符；对于图中左侧椭圆区域，本文方法将部分地面点误分为屋顶点，而NANJ2能对其进行正确分类；对于右侧箭头所指低矮植被，两种方法均将其误分为地面点。总的来说，本文方法分类结果整体上优于NANJ2。

图 8 Eval数据集标准分类结果与本文方法分类结果Fig. 8 Comparison of Eval dataset standard classification result with our method classification result

图选项 

图 9 Eval数据集不同方法错误分类点分布图Fig. 9 Error images of Eval dataset by different methods

图选项 

为了验证本文方法效率，统计了本文方法利用D_T3训练及预测的时间，如表 6所示。从表 6可以看出，本文方法仅构建包含两层FCN和两层CNN的分类模型，因此可以实现快速地训练，这样可以在更短的时间内得到分类效果更好的模型；本文方法主要的时间耗费在点云深度特征提取上，这一方面是由于ResNet50网络层次较深，另一方面是因为点数较多。尽管试验的环境有所差别，但是相比文献[19—21]中需要10 h以上的训练时间，仍可以得到本文方法效率更高的结论。此外，需要说明的是，本文采用先计算点云特征图，存储后再读取进行训练和分类，未对方法进行进一步优化，但实际上可以将计算点云特征图嵌入后续训练和预测中，以减少存储和加载点云特征图所需的时间，进一步提高方法的效率。

表 6 两组数据集分类所用总时间Tab. 6 Time consumed of the two datasets

点云特征计算 及特征图生成/h	训练阶段		预测阶段	后处理/s	总时间/h
加载数据/h	DF提取/h	训练及预测/h		加载数据/h	DF提取/h	预测/s
0.35	0.06	0.69	0.34		0.63	5.70	100.34	40.30	7.81

表选项 

综合分析本节试验结果可知，总体上，本文方法对树木、地面和屋顶这3类地物分类效果相对更好，对篱笆、灌木和车辆的分类效果相对较差，对不同地物的分类性能的优劣取决于对应地物用于训练的数据量大小及其低层次特征和其他地物的相似程度，与地物的形状、面积无关。

3 结论

本文首次将深度迁移学习引入机载LiDAR点云分类中，提出一种基于深度残差网络的机载LiDAR点云分类方法，利用预训练深度残差网络从生成的点云特征图中提取深度特征，通过构建包含两层全连接层和两层全卷积的神经网络分类模型及构建图模型，进行后处理实现机载LiDAR点云分类。通过和已有点云分类方法对比可知，本文方法在分类精度和效率上都有较大的优势，可以为城市三维建模等点云的后续应用提供可靠信息。然而，本文对生成特征图所用的点云特征及在后处理中能量函数的设计并未作过多的探讨，如何更好地选择低层次特征组合及设计能量函数，是未来进一步研究的方向。

【引文格式】赵传, 郭海涛, 卢俊, 等. 基于深度残差网络的机载LiDAR点云分类. 测绘学报，2020，49(2)：202-213. DOI: 10.11947/j.AGCS.2020.20190004

精

彩

回

顾

权威 | 专业 | 学术 | 前沿

微信投稿邮箱 | [e-mail]

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

欢迎加入《测绘学报》作者QQ群： 751717395

进群请备注：姓名+单位+稿件编号