论文推荐 | ​姚连璧：车载激光点云的道路标线提取及语义关联

《测绘学报》

构建与学术的桥梁        拉近与权威的距离

《测绘学报》抖音自开通以来，聚焦于测绘地理信息学术前沿进展，受到了广大专家学者的大力支持，播放量数万，粉丝1.7万。

复制链接，关注我们哦！

【测绘学报的个人主页】长按复制此条消息，长按复制打开抖音查看TA的更多作品##7NsBSynuc88##[抖音口令]

车载激光点云的道路标线提取及语义关联

姚连璧,秦长才,张邵华,陈启超,阮东旭,聂顺根    

同济大学测绘与地理信息学院, 上海 200092

收稿日期：2019-06-17；修回日期：2019-11-16

基金项目：“十三五”国家重点研发计划资助项目（2016YFB1200602-02）；国家自然科学基金资助项目（41771482）

第一作者简介：姚连璧(1964-), 男, 教授, 主要研究方向为多传感器集成以及在道路与交通工程中的应用。E-mail:[e-mail]

摘要：自动驾驶技术已成为未来智能交通的发展方向之一，高精度地图为L3级及以上自动驾驶实现高精度定位和路径规划提供先验信息，是自动驾驶车辆传感器在遮挡或观测距离受限情况下的重要补充。道路标线的位置和语义信息，比如实线和虚线的绝对位置是高精度地图的基本组成部分。本文从车载激光点云中提取扫描线，根据道路边缘位置几何形态的突变从扫描线中提取道路路面，在此基础上首先利用反距离加权插值的方法把路面点云图像以一定的分辨率转换为栅格图像，其次利用基于积分图的自适应阈值分割方法把栅格图像转化为二值图像，然后利用欧氏聚类的方法从二值图像中提取标线点云，并利用特征属性筛选的方法对提取的标线点云进行语义识别，最后建立交通标线和交通规则之间的语义关联。

关键词：点云    反距离加权插值    自适应阈值分割    欧氏聚类    特征属性筛选    语义关联    

Road marking extraction and semantic correlation based on vehicle-borne laser point cloud

YAO Lianbi, QIN Changcai,ZHANG Shaohua,CHEN Qichao,RUAN Dongxu, NIE Shungen   College of Surveying and Geo-informatics, TongJi University, Shanghai 200092, China

Foundation support: The National Key Research and Development Program of China (No. 2016YFB1200602-02); The National Natural Science Foundation of China(No. 41771482)

First author:  YAO Lianbi (1964—), male, professor, majors in multi-sensor integration and its application in road and traffic engineering.E-mail:[e-mail].

Abstract: At present, automatic driving technology has become one of the development direction of the future intelligent transportation system. The high-precision map, which is an important supplement of the on-board sensors under the condition of shielding or the restriction of observing distance, provides a priori information for high-precision positioning and path planning of the automatic driving with the level of L3 and above. The position and semantic information of the road markings, such as the absolute coordinates of the solid line and the broken line, are the basic components of the high-precision map. In this paper, scan lines are extracted from the vehicle-borne laser point cloud data, and the road surfaces are extracted from scan lines according to the mutation of the geometry of road edge. On this basis, the road surface point cloud image is transformed into raster image with a certain resolution by using the method of inverse distance weighted interpolation, and the grid image is converted into binary image by using the method of adaptive threshold segmentation based on the integral graph. Then the method of the Euclidean clustering is used to extract the road markings point cloud from the binary image. Semantic information can be extracted from the road markings point cloud using the method of the characteristic attribute selection. Finally, semantic association is established between the traffic markings and the traffic regulation.

Key words: point cloud    inverse distance weighted interpolation    adaptive threshold segmentation    Euclidean clustering    feature attribute selection    semantic correlation    

对于道路标线信息人们早期是从光学影像中通过图像识别的方法获取的^[1-8]，然而由于现实中的成像环境往往复杂多变，天气变化、树木阴影、汽车遮挡等因素均给图像处理增加了不少难度，目前要实现完全自动化的标线信息提取仍然有一定困难。

基于激光点云提取道路标线主要是依据点云的强度差异进行的，沥青路面对于激光的反射率较低，而路面上的标线则具有较高的反射率，因此可以通过点云的强度差异信息来提取路面上的标线信息^[9-11]。国内外相关学者还综合了点云密度、标线几何特征等信息对标线提取进行了深入研究。基于距离激光扫描仪越远的路面其点云密度越小，文献[12]提出了一种基于点密度的强度多阈值标线提取方法。文献[13]提出一种基于路面位置的强度阈值确定方法，并将提取结果转化为二值图像进行膨胀、侵蚀等形态学处理以填补标线空洞以及去除噪声，但文章在进行道路边界提取时引入了道路边界之外的噪声点，导致标线提取有溢出情况。文献[14]采用自适应二值化阈值分割从栅格图像中提取道路标线，并利用深度学习的方法对提取的道路标线进行分类，但该文章仅对人行横道线和箭头进行了提取识别，识别类别较少。文献[15]将点云沿车辆行驶轨迹线垂直方向分割成多个部分，每个部分分别通过Otsu计算强度分割阈值并据此提取标线点云，最后使用语义知识对大型道路标线进行了分类，利用深度学习与主成分分析法对小型标线进行了识别。文献[16]利用反距离加权插值将点云图像转变为栅格图像，再利用加权邻域差直方图确定强度阈值对栅格图像进行阈值分割，然后使用二维多尺度张量投票算法进一步提取出标志标线。文献[17]基于强度信息的分层模板法和基于分块点云的Alpha_Shapes边界重建方法, 完成道路标识线的提取。文献[18]使用动态窗口滤波对点云扫描线的强度进行中值滤波，然后根据扫描线上强度的梯度变化确定标线的边缘点，最后根据标线特征对提取的非标线点进行了去除。文献[19]基于路面点云数据生成的点云参考影像综合考虑点云数据的平面距离、高程差异、点云密度的特点对交通标线进行提取，首先将点云参考影像利用阈值分割的方法进行二值化处理，基于得到的二值化影像进行数学形态学闭运算操作，从而完成交通标线的完整提取。文献[20]提出了一种在强度图像中进行边缘检测的道路标线提取方法，该方法首先将道路面点云投影成强度特征图像，然后检测图像边缘，并根据道路标线的几何特征进行联通分析，提取道路标线边缘，最后通过道路标线边缘信息从道路面点云中提取道路标线候选点云，并引入高斯混合模型剔除路面噪声点，得到最终的道路标线点云。但文中强度图像的生成简单以栅格图像格网内点云的平均强度作为栅格灰度值，这容易造成空像素的产生，进而会造成标线边缘检测的像素误差较大，并且文章没有对标线进行语义识别。文献[21]首先利用道路标线的反射特性对点云进行滤波并创建二值栅格图像, 然后基于图像利用分层神经网络提取标线的语义信息，但该文献只对人行横道和箭头进行了语义提取，标线识别的类别较少。文献[22]根据点云的颜色特征和空间分布构建空谱特征指数，对车载激光点云数据的道路标识线进行提取。文献[23]提出了一种基于深度学习的道路标线自动提取与分类方法，通过移动窗口法结合相邻扫描线拓扑关系进行地面点云提取，并生成强度图像，基于深度学习方法实现道路标线的自动提取与分类，并利用聚类分割算法结合矢量化方案实现道路标线的矢量化。文献[24]首先对激光点云强度进行校正，基于校正后的点云强度，采用k均值聚类和连通分支聚类等方法对标线进行分割，最后利用实线型标线的语义信息和空间分布特征从分割后标线对象中对实线型交通标线进行语义识别。

基于激光点云的车道标线提取方面的研究比较多，但目前很少有文章利用所提取的车道标线进一步组成车道对象，并对车道与对应交通规则建立语义关联。本文首先从车载LiDAR点云中提取车道标线，然后利用所提取的车道标线组成车道对象，并对车道与对应此车道的交通规则建立语义关联。

1  道路标线自动化提取与识别

本文基于车载激光点云的道路标线自动化提取和识别的主要步骤包括：从原始激光点云中提取路面点云；从路面点云中提取标线点云；对提取的标线点云进行语义识别。技术路线如图 1所示。

图 1 道路标线自动化提取和识别 Fig. 1     Automatic extraction and recognition of road marking      

图选项

1.1  扫描线提取

车载移动测量系统中使用的大都是断面扫描仪，一条扫描线即激光头旋转一周所获取的点云，扫描线的获取方法一般有扫描角截断、时间戳跳跃、点间距跳跃等方法，本文使用点间距跳跃检测法从原始点云中对扫描线进行提取。设相邻的两个点云空间坐标分别为P_i-1(X_i-1, Y_i-1, Z_i-1)和P_i(X_i, Y_i, Z_i), 下标i为点云的扫描顺序, 则相邻点之间的空间距离如式(1)所示

(1)

由于天空中不会出现扫描点，所以一条扫描线的最后一个点到下一条扫描线第一个点之间的距离会有一个较大的跳跃，设置一个阈值L_d，并设相邻点云之间的相邻距离分别为d_i-1，d_i，d_i+1，当阈值L_d和点云之间的距离满足式(2)时，将P_i点标记为关键点

(2)

令Key_k=i，Key_k=i表示第i个扫描点是第k个关键点，事实上，由于距离扫描仪越远的地方点密度越稀疏、个数越少、点间隔越大，所以仅用点间隔来判断扫描线容易将一条稀疏的扫描线分割成多条，所以需要增加两个阈值L_n、L_r分别表示单条扫描线拥有的最少点个数和扫描线最小长度，当式(3)与式(4)同时成立时，将Key_k标记为跳跃点，跳跃点即为各条扫描线边界点，跳跃点之间的点即组成扫描线

(3)

(4)

路面点云扫描线提取的关键是确定L_d、L_n、L_r 3个参数，L_r可以设置为道路宽度的1/2，L_d应该比L_r略小，可以设置为道路宽度的1/3，对于本文采用的样本数据而言，把L_r初始化为7 m，L_d初始化为5 m，L_n初始化为350个，利用式(2)—式(4)求出前100条扫描线的关键点和跳跃点序号，据此求出L_d和L_r的平均值，并利用式(5)求出L_n的值以更新参数的初值作为扫描线提取的最终参数值

(5)

1.2  路面点云分割

获取了扫描线点云后，即可在扫描线点云的基础上进行路面点云的提取。道路在横断面上一般表现为一条近似的直线以及两侧不规则的几何形状(图 2)，路面点云提取就是通过识别这种规则与不规则的交界处而确定路面范围。

图 2 道路横断面 Fig. 2     Road cross section      

图选项

虽然道路边界多种多样，但其在断面上均表现为高程、坡度等几何属性的突变，可以利用这些属性信息将边界区分出来。设扫描线上的点为P_i(X_i, Y_i, H_i)，则相邻点之间高差、平面距离和空间距离分别如式(6)、式(7)和式(8)所示，相邻点之间的坡度用式(9)表示

(6)

(7)

(8)

(9)

本文利采用多种属性组合的方式对路面边界进行确定，首先定义3个阈值c_H(curbHeight)、m_S(minCurbSlope)、f_H(fluctuateH)，其中c_H与要检测的路面边界突出物(如路缘石、挡板等)上的扫描点间隔有关，一般设置为比突出物高度值略小，m_S决定突出物与路面的夹角，f_H反映处理的路面点云的高程波动程度，大于f_H值的会认为是边界。当满足式(10)—式(12)任意一个时，将P_i点标记为关键点，记为Key_k=i，关键点即几何形态发生突变的点，然后统计相邻关键点之间的非关键点个数N_k=Key_k-Key_k-1，由于扫描线的绝大部分点都在路面上，而路面点又是非关键点，所以可以认为连续非关键点个数最多的那一组为路面点

(10)

(11)

(12)

一般城市道路路边缘高度为0.1 m左右，参数f_H、m_S一般比较小，本文设置参数先验值为：c_H=0.08 m，f_H=0.05 m，m_S=25°。利用所设置参数值和第2节所述样本数据b进行路面点云分割，结果如图 3所示。

图 3 路面点云分割 Fig. 3     Segmentation of roadsurface pointcloud      

图选项

1.3  路面点云栅格化

点云栅格化即将三维空间点云按其属性信息转换为灰度栅格图像，本文利用反距离加权插值(inverse distance weighted，IDW)的方法求取栅格图像中每一个像素的灰度值，假设道路点云为P_i(X_i, Y_i, Z_i, I_i)，I_i为激光点的反射强度值，以分辨率R_pixel(单个像素所代表的实地大小)、插值半径R_IDW生成强度栅格图像，首先将P_i投影到平面上即(X_i, Y_i, I_i), 令minX=min(X_i)，maxX=max(X_i)，minY=min(Y_i)，maxY=min(Y_i)，则栅格化后的图像尺寸如式(13)所示

(13)

插值点Pixel_{(m, n)}对应插值半径内的点可用式(14)表示

(14)

式中，。d_{(m, n, k)}表示插值半径内的点P_k到像素点Pixel_{(m, n)}中心的距离，以d_{(m, n, k)}倒数为权计算插值点强度值用式(15)表示

(15)

为了使插值后每个像素内均有点云存在，不致于产生图像空隙，插值半径R_IDW应大于点之间的间隔，一般可令像素分辨率R_pixel与点间隔相当，插值半径设置为3R_pixel~4R_pixel。实际采集的点云数据的点间隔约为0.02 m，据此对样本数据b以分辨率0.05 m、插值半径0.2 m对1.2节所提取的路面点云进行栅格化生成强度栅格影像，结果如图 4所示。

图 4 路面强度影像 Fig. 4     Intensity image of roadsurface pointcloud      

图选项

1.4  路面点云自适应阈值分割及标线点云提取

自适应阈值分割^[25]是利用像素点灰度值与其周围矩形区域内像素的平均灰度值进行比较实现的，平均灰度值反映了背景的总体灰度值大小，如果像素灰度值大于其周围像素的平均灰度值一定量，则可以认为其是前景像素，否则认为是背景像素。设像素点坐标为P_i(x_i, y_i)，对应灰度值为I_{(xi, yi)}，积分图像为intI_{(xi, yi)}，定义两个参数s、t分别表示背景半径和分割系数，s作为背景半径，其值应大于要分割的目标半径，s越大越接近于单阈值图像分割，分割系数一般取值1左右，以P_i为中心2s+1为边长的矩形区域内的像素灰度值的和用式(16)表示为

(16)

分割后的二值图像像素值用式(17)表示，像素值为1的像素所对应的点云即为要提取的标线点云

(17)

本文以参数s=12、t=1.25对1.3节中所生成的路面强度影像进行自适应阈值分割，分割结果如图 5所示。

图 5 影像二值化 Fig. 5     Binarization of image      

图选项

1.5  标线语义识别

上文所提取的标线点云还是一堆离散点，不具有标线对象信息。本文使用欧氏聚类的方法首先对标线点云进行聚类形成点云聚落，再求取点云聚落的最小外接矩形，根据其最小外接矩形的几何特征利用特征属性筛选的方法对标线点云进行语义识别。设最小外接矩形的长和宽分别为a和b，长宽比为α₁，点云面积为α₃，矩形度(点云面积与其最小外接矩形面积之比)为α₄。

1.5.1  虚线识别

同类型的虚线是由多个短实线段组成的，每个短实线段是具有相同尺寸的矩形，所以识别一种类型的虚线就是识别相应的矩形点云聚落。由于每种道路标线都有固定规格，设虚线对应的标准线段长宽分别为length_brokenline、width_brokenline，则当点云聚落特征属性满足式(18)时认为是虚线

(18)

式中，β₁、β₂、β₃、β₄是4个限制系数，β₁、β₂反映了点云聚落与设计尺寸长度、宽度上允许的差异；β₃表示对标线点云最小面积的限制；β₄表示了对聚落矩形度的限制。系数具体值的设定与聚落点云密度及标线点云完整程度有较大关系，一般可令系数值分别为0.1、0.2、0.1、0.6。

1.5.2  实线识别

实线的识别与虚线识别方法是类似的，设实线的标准宽度为width_solidline，当点云聚落特征属性满足式(19)时认为是实线

(19)

式中，β₅是对点云聚落的最小外接矩形长宽比做出的限制，线状标线的长宽比应设置的大一些，一般可令β₅=7；β₂、β₄的系数值设置同虚线识别。虚线和实线语义识别结果将在第2节展示。

2  标线提取与识别试验结果

本文使用集成有RIEGL VUX-1激光断面扫描仪、IMU、GPS天线和GPS时钟的车载移动测量系统对武汉市二环线进行数据采集，采集时的参数见表 1。

表 1 点云数据采集参数Tab. 1 The parameters of pointcloud data collected

扫描仪型号	RIEGL VUX-1
扫描方式	单线断面扫描
车速	35~40 km/h
扫描频率	200 hz
扫描速度	500000 points/s
视场角	330°
路面点密度	100~1600 points/m2

表选项

从试验数据中截取4段总长约240 m的试验路段数据，根据上文所述算法利用Matlab编程语言对标线进行自动化提取和识别，试验结果如图 6至图 8所示。

图 6 路面强度特征影像 Fig. 6     Image of intensity feature of roadsurface      

图选项

图 7 标线人工标注结果 Fig. 7     Results of manual labeling for road markings      

图选项

图 8 标线提取和识别结果 Fig. 8     Results of extraction and identification of the road markings point cloud      

图选项

根据正确识别的虚线段数(单位：段)与人工标注的虚线段数的比值评价虚线正确识别率，根据正确识别的实线长度(单位：m)和人工标注的实线长度的比值评价实线正确识别率，结果见表 2。

表 2 道路标线识别精度Tab. 2 The accuracies of the proposed method for road markings recognition

类别	标注数量	识别数量	正确率
实线	618.37	461.61	0.74
虚线	130	115	0.88

表选项

由表 2可以看出，实线识别率相对较低，这是因为实线往往处于边缘部分，点云稀疏，点云分割时混入了更多噪声，这些噪声的存在容易使得实线被当作噪声而过滤掉；对于虚线而言，由于道路标线中虚实线的存在，当虚线和实线距离很近时算法会误将虚线当成实线的一部分，这会影响到虚线的正确识别。

3  车道与交通规则之间的语义关联

自动驾驶车辆是行驶在车道中的，在提取了车道标线之后，即可以组成车道对象。本文以一个城市道路交叉口的一个行车方向为例，构建不同车道之间的拓扑连接，并建立车道和对应交通规则之间的语义关联关系。

3.1  Lanelet车道模型

Lanelet^[26]的概念最初由Philipp Bender在构建Lanelets高精度地图中提出。Lanelets高精度地图包括Lanelet车道、关联在Lanelet上的规则元素和驾驶走廊3个基本元素。Lanelet车道是可驾驶的车道区间，由左右车道线构成，是Lanelets地图的最小单元；规则元素是关联在Lanelet上的交通规则信息，如交通信号灯、交通标志、路口交通规则等，由规则信息和为遵循该规则所需要的参数两方面构成，如在交通信号灯前，规则信息为“遇红灯停止”，相应的参数为交通信号灯的位置和停止线位置；驾驶走廊是有序的、接续的Lanelet序列，是到达目的地的具体驾驶路径^[26-27]。

3.2  建立车道和交通规则之间的关联关系

本文以武汉市云飞路淮海路十字路口为例，使用Lanelet车道模型构建车道拓扑网络，使用XML语言对车道线，车道和交通规则进行编码，并建立车道和对应交通规则之间的语义关联。这种关联关系可以利用JOSM编辑器进行可视化，JOSM是用Java编写的Open Street Map地图编辑器，OSM定义了一种基于XML的文件格式，用于存储和交换地图数据，这将容易验证Lanelet与其交通规则之间的关联关系，JOSM编辑器界面如图 9所示。借助OSM的形式可以用来表示Lanelets高精度地图，它使用了3个基本元素编码并存储所有地图数据：节点(node)、线(way)和关系(relation)。节点是具有给定地理位置的点，一个车道线由一系列有序节点组成，一个Lanelet车道由左右车道线组成，而关系则可以表达Lanelet车道和约束在Lanelet车道上的交通规则。所有元素都有一个共同之处，即它们由唯一的Id标识。

图 9 路口拓扑连接示意 Fig. 9     Topological link diagram on a junction      

图选项

在XML文件中，一个Lanelet车道和对应交通信号灯、停止线的语义关联存储成一个关系(relation)。此关系的成员依次包含：

(1) 激活点(activate_point)，在激活点的位置车辆开始减速；

(2) 结束点(end_point)，在结束点位置解除车速限制；

(3) 交通灯，Id是1111113，被关系(relation)引用；

(4) 停止线(stop_line)，车辆停止的参考位置；

(5) 车道，ref=‘6’代表文件中车道Id是6，被关系(relation)引用。

此外，此关系所在图层、车辆操控类别和关系本身的类型均以键-值对的形式存储在XML文件中，此关系的具体内容如下所示，效果图如图 9所示，其中红色有向线代表一条车道和另一条车道之间的拓扑连接。

〈relation id=′123141′ visible=′true′〉

〈member type=′node′ ref=′5555557′ role=′activate_point′ /〉

〈member type=′node′ ref=′6666668′ role=′end_point′ /〉

〈member type=′node′ ref=′1111113′ role=′ref′ /〉

〈member type=′way′ ref=′100009′ role=o_STOP_line′ /〉

〈member type=′relation′ ref=′6′ role=′ref′ /〉

〈tag k=′layer′ v=′ YHROAD ′ /〉

〈tag k=′maneuver′ v=′traffic_light′ /〉

〈tag k=′type′ v=′regulatory_element′ /〉

〈/relation〉

4  结语

本文从车载激光点云中提取道路标线信息，首先根据点间距跳跃从点云中提取扫描线，再根据道路边缘几何形态的突变从扫描线中提取路面；接着用反距离加权插值的方法把路面点云图像转变为栅格图像，采用自适应阈值分割的方法对栅格图像进行二值化，进而提取出路面标线点云；最后采用欧氏聚类的方法把提取的离散标线点云聚类成形状和大小各不相同的点云聚落，根据不同点云聚落的属性特征设定一定的特征阈值对标线进行语义识别；在提取出路面标线点云的位置和语义信息后，由车道标线组成车道，进而建立车道和对应信号灯、停止线之间的语义关联。本文下一步的工作是从车载激光点云中提取其他交通环境对象，如交通标志牌、路灯、电线杆、限高杆等杆状交通标志。

【引文格式】姚连璧, 秦长才, 张邵华, 等. 车载激光点云的道路标线提取及语义关联. 测绘学报，2020，49(4)：480-488. DOI: 10.11947/j.AGCS.2020.20190241

精

彩

回

顾

资讯 | “80后”院士王家耀的9条青春启示

权威 | 专业 | 学术 | 前沿

微信、抖音小视频投稿邮箱 | [e-mail]

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

欢迎加入《测绘学报》作者QQ群： 751717395

进群请备注：姓名+单位+稿件编号