多特征结合的倾斜无人机影像匹配方法

点击图片上方蓝色字体“慧天地”即可订阅

“欧比特杯”高光谱遥感影像智能处理行业应用大赛已于2019年5月24日开始接受网上报名。报名请关注《慧天地》微信平台大赛通知

或欧比特网站https://ohs.obtdata.com。

作 者 信 息

马国宝1，俞　友2,3

（1. 青海省基础测绘院，青海　西宁　810000；2. 湖南省地质矿产勘查开发局402队，湖南　长沙　410004；3. 湖南省勘测设计院，湖南　长沙　410004）

“

【摘要】针对无人机倾斜影像存在匹配困难问题，提出融合多种特征优势的无人机影像匹配算法。首先，提取MSER（Maximally Stable Extremal Regions）局部特征稳定区域，并用SIFT（Scale Invariant Feature Transform）描述子对特征进行描述；其次，利用K-D树的搜索策略进行特征点的快速检索，采用NND算法获取初始的粗匹配点对，根据结果计算影像间的仿射变换关系；最后，对SIFT特征点进行约束NCC匹配，利用RANSAC算法剔除外点，完成最终的影像匹配。实验结果表明，该算法对存在较大倾斜角度的无人机影像效果较好，在匹配正确率和仿射不变性两方面都优于SIFT算法。

【关键词】MSER；SIFT；倾斜摄影；影像匹配

【中图分类号】P235.2 【文献标识码】A 【文章编号】1672-1586（2019）02-0116-04

”

引文格式：马国宝，俞　友. 多特征结合的倾斜无人机影像匹配方法[J].地理信息世界,2019,26(2):116-119.

正文

0　引　言

无人机影像匹配技术是采用一定的算法在具有相同区域的两幅影像上寻找同名点的过程，进而能够正确地计算两张影像空间位置关系。无人机影像匹配是后期影像拼接、高精度的立体测图、三维城市模型重建、影像检索等领域作业流程的必要步骤，同时也是计算机视觉领域的关键技术。常用的基于影像特征的匹配算法，研究热点主要集中在平移、旋转、尺度与光照不变性，如MSER算法、SURF算法、SIFT算法。这些算法对变形较小的影像效果较好，由于无人机平台的不稳定性，当拍摄的影像间存在尺度变化较大或者旋转角度较大时，现有的算法就会遇到难以匹配或者匹配精度较低的情况。文献提出混合特征在大仿射影像上的匹配应用，通过大量的试验对比得出多特征融合的影像匹配算法可以得到优于单一特征的实验结果，但文中利用两种同一类型的局部稳定特征，算法的应用场景单一、鲁棒性不强。文献首次提出采用尺度旋转不变的SIFT特征进行图像匹配的方法；经过多年的研究，文献通过试验对比分析得出SIFT描述子不仅具有很强的尺度旋转不变性，还具有很强的可区分性。但针对旋转角度较大的无人机影像仅采用MSER特征或者SIFT特征进行匹配时，匹配结果不理想，误匹配点对较多。

1　多特征结合的影像匹配方法

1.1 概述

针对以上问题，本文采用一种MSER特征与SIFT描述子相结合的无人机影像匹配方法。首先，根据MSER算子提取的仿射不变区域特征，进行局部拟合生成特征点集，利用SIFT特征描述子对生成的特征点集进行表达；其次，利用K-D树快速搜索方法，以最邻近与次邻近比值算法提取初始特征匹配点集，并估算影像间的映射关系；最后，对初始匹配点邻域内SIFT特征点进行约束NCC匹配，利用随机抽样一致性方法剔除初始匹配点对中的外点，获得最终精匹配点对。通过无人机影像进行试验，与常用的匹配方法相比，该算法提高了影像在存在旋转角度较大情况下的匹配正确率。

1.2 MSER 特征提取

J.Matas最早在论文中提出最大稳定极值区域MSER算子，经过相关学者的验证被业界认为是性能较好的仿射不变区域，对于存在仿射变化的影像灰度具有不变性，且该区域的支持具有相对灰度变化稳定，可以用于检测不同精细程度的区域。当使用不同的灰度阈值对影像进行二值化时得到的最稳定的区域，前后相邻阈值影像间的连通区域，最终得到MSER。因此，MSER分为MSERs+与MSERs-。对于从同一场景得到的两幅具有仿射变换的影像来说，提取的放射不变区域在扭曲变形、尺度大小与旋转方向上存在差异。虽然MSER得到用椭圆型拟合的仿射不变区域，为了方便进行后续处理，需要将椭圆型拟合并归一化为圆形，同时放大MSER区域。

对于具有相同区域的两幅影像来说，提取的仿射不变MSER特征区域拟合成椭圆区域，如果直接采用SIFT特征描述子进行描述，由于MSER特征区域存在一定存在的仿射变形，那么仿射不变区域存在的扭曲变形将会影响提取特征区域旋转角度和尺度大小。因此，考虑进一步的利用SIFT特征描述子对MSER特征区域进行描述，需要对提取的MSER特征区域进行归一化处理以减弱这种差异对后期匹配结果的影响。对于MSER区域归一化，首先以初步提取的MSER特征不变区域为基准将其拟合区域外扩3倍形成新的特征椭圆计算区域，以此为基础提取特征，并对其进行处理生成指定大小的区域；然后对归一化后的区域影像进行特征描述子的提取。经过这些处理后，就会获得许多具有放射不变性而且鲁棒性较好的特征区域。MSER特征归一化拟合椭圆的方程如下：

通过公式（1）可以看出，局部稳定的MSER特征包含两部分信息，分别表示为特征区域的中心坐标(u ,v )以及椭圆参数(a ,b ,c )。

1.3 SIFT 特征提取与描述

SIFT特征提取首先使用高斯滤波函数来构造影像尺度空间，并在此基础之上对影像进行不同的重采样，生成金字塔分层结构，其次采用不同的高斯函数的滤波因子对金字塔分层结构进行滤波，最后对于相邻的高斯滤波影像进行相减生成高斯差分金字塔分层结构，以达到特征点尺度不变的目的，并提供更为稳定的影像特征极值点。其获得的影像可表达为：

式中，G (x ，y )表示高斯函数，L (x ，y )为尺度空间影像，I (x，y )为原始影像，*表示影像与尺度空间的卷积操作。

对于构建完成的高斯差分金字塔分层结构，为了提取高斯差分尺度空间上的极值点，将待求尺度空间下的像素点与相邻尺度空间下的18个点以及相同尺度空间下局部相邻的8个点的像素值进行分析比较，如果该点为极值点，则标记为候选特征点。为保证候选点的稳定性，采用一定的方法，剔除后选点中位于影像边缘的点与对比度比较低点；然后采用多项式拟合的方法精确确定特征点的位置，并将特征点局部域内影像点的梯度方向直方图上最大值所对应的方向作为特征点的主方向。并记录特征点对应的坐标、主方向以及尺度。像素梯度大小和方向计算如式（3）、式（4）：

为使SIFT特征具有旋转不变性，要将坐标轴进行旋转，使其与关键点在同一个方向。对于描述区域的大小，通常取16×16大小的邻域窗口，并划分为16个4×4的子块。然后以该特征点为中心取8×8像素的窗口，计算各个像素的模值大小与梯度方向，再用高斯加权为其赋予权值，像素距离特征点越近其梯度方向信息贡献就越大。最后在每个4×4的小块上计算8个方向的梯度方向直方图，计算每个梯度方向的累加值，即可形成一个特征向量，每个特征向量均包含8个方向向量信息，再依据位置依次排序，就形成一个128维的特征向量。其中，第1维对应于第一个子区域的第一个梯度方向，第2维对应于第一个子区域的第2个梯度方向，第9维对应于第二个子区域的第一个梯度方向，依次类推。

1.4 集成MSER与SIFT不变特征的匹配

匹配基本步骤如下：

1）分别获取参考影像与待配准影像的MSER特征区域并进行椭圆拟合，求得特征邻域的协方差矩阵U ，根据对全部MSER特征邻域归一化并用SIFT描述子进行描述。

2）采用K-D树快速搜索方法，搜索最近点和次近点，并计算最近距离与次近距离的比值，将小于阈值的标记为粗匹配点对；利用粗匹配点对中部分特征点估算影像透视变换模型参数用影像的初步校正。

由于，采用128维的高维向量描述SIFT不变特征，存在一定差异的特征点的描述子表现形式差别较大；因此，可以采用最近距离和次近距离的比值作为待匹配点的相似程度。其数学表达式为Df /Ds<τ.其中，Df 表示与样本特征点具有最短欧式距离的特征点，Ds 表示具有比最近邻距离稍长的欧式距离的特征点，τ 是指定的阈值。假设基准影像和待匹配影像的特征点满足上述的关系，则标定为正确的匹配点对。采用这种方法检测到的次近距离比最近距离远的多，能够检测到稳定、可靠的初始匹配点集。

3）分别对两幅影像提取SIFT特征点，然后根据粗匹配区域间的仿射变换关系：

对粗匹配点邻域内SIFT特征点进行约束NCC匹配，若粗匹配点邻域内有50%以上SIFT点能够正确匹配时，认为该MSER粗匹配点为同名像点，反之剔除。

4）利用随机一致性算法剔除外点，获得最终匹配点集并解算单应矩阵H ，即基准影像与待配准影像间的几何变换关系。

2　影像匹配实验

为保证文中提出多特征融合的无人机影像匹配方法的有效性，限于篇幅限制，文中采用一对立体影像对进行试验。实验采用的影像是上午九点左右和下午三点左右采用国产大疆无人机采集的实验数据，影像的空间分辨力分别约为0.4 m、0.7 m。基准影像与待匹配影像间存在约为25°的视角差，影像大小为5 000×5 000 pixels（将其缩小4倍为1 250×1 250）。

匹配流程如下：

（1）初始匹配。采用MSER算子检测局部稳定区域，如图1a所示；对检测出来的稳定区域进行拟合生成特征点集，然后利用SIFT特征描述子对特征点集进行表达，并应用最近邻与次近邻距离比值小于0.7筛选匹配点集 ，得到较多的初始匹配点集数目，这样避免正确的匹配点被过滤掉，匹配点数目为571，如图1b所示，从初始匹配点对中随机选取5对同名点，利用最小二乘方法计算影像间的仿射变换模型参数，对影像进行粗略的矫正。

2）精匹配。采用SIFT算法分别对两幅影像提取SIFT特征点，然后根据粗匹配区域间的仿射变换关系，对初始匹配点对邻域内SIFT特征点进行约束NCC匹配；最后利用随机抽样一致性剔除匹配点对中的外点，获得精匹配点集，效果如图1c所示。

a MSER特征

a MSER features

b SIFT特征

b SIFT features

c 匹配结果

c Matching result

图1　匹配过程

Fig.1 Matching process

由表1可知，由于MSER算法提取的特征区域数目较多，出现区域层叠覆盖现象，特征区域重复表达现象明显造成最终的精匹配数目、匹配正确率都是最低的。在最终的精匹配结果中，本文提取的匹配点对数目比SIFT算法提取的特征点对少30个。因为在精匹配阶段本文方法采用约束NCC匹配中少量的正确点也被剔除造成的，但本文最终的正确匹配率超过92%，SIFT算法仅78%，高出十四个百分点。这也进一步说明，与MSER算法和SIFT算法相比，该算法对存在旋转角度较大的无人机影像的匹配能力强。通过运用最小二乘法计算影像间的仿射变换参数，估计该方法的仿射误差，仿射误差的大小间接表示提取匹配点集的精度。从表1也可以看出本文方法的运行时间比MSER算法、SIFT算法长，这是由于本文方法在设计时多了精匹配过程。

表1　匹配各项数据及不同方法比较

Tab.1 Matching data and comparing different methods

3　结束语

针对倾斜的无人机影像存在较大的旋转角度问题，提出的多特征融合的匹配方法，通过试验验证该方法在无人机影像上匹配正确率、仿射不变性两个方面都优于MSER算法和SIFT算法。本文方法仅在同源的无人机影像上分析试验，对于能否在异源的无人机影像和卫星影像进行匹配还有待于确定，这也是下一步主要的研究方向之一。

来源：地理信息世界GeomaticsWorld（版权归原作者及刊载媒体所有）

欢迎大家关注《慧天地》同名新浪微博

微博ID：慧天地_geomaticser

荐读

点击下文标题即可阅读

编辑 / 张艺洪  审核 / 张胜威 黄松

指导：万剑华教授