倾斜航摄影像匹配方法探究
来源：《测绘地理信息》2015年第6期
作者：袁修孝， 陈时雨
第一作者简介：袁修孝，博士，教授，博士生导师，主要从事航空航天摄影测量高精度定位理论与方法、高分辨率卫星遥感影像几何处理等的研究和教学工作。
影像匹配是数字摄影测量与计算机视觉的关键技术之一，尽管基于灰度和基于特征的影像匹配方法较好地解决了常规航摄影像的匹配问题，但就倾斜航摄影像而言，目前并不存在一种普适性的影像匹配方法。首先分析了倾斜航摄影像匹配困难的成因，然后比较了几种常用的倾斜航摄影像匹配方法，最后提出了一种基于图匹配的倾斜航摄影像匹配构想，希望对倾斜航摄影像的高效、高精度和高可靠性匹配能有所裨益。
影像匹配是数字摄影测量自动化的技术核心，也是计算机视觉和图像分析等的关键技术。现有的影像匹配方法大体上可以分为基于灰度的影像匹配和基于特征的影像匹配两个大类[1]。但在实际应用中，为了获得高效、高精度和高可靠性的影像匹配效果，两种方法往往并存于一个系统中。然而，这些方法并不能完美解决倾斜航摄影像的匹配问题。为此，本文首先从倾斜航空摄影的机理出发，试图分析倾斜航摄影像匹配的主要困难;然后给出了几种常用的倾斜航摄影像匹配方法的效果图，并简要分析了这些算法失效的原因;最后给出了笔者对于倾斜航摄影像匹配的设想，希冀能对倾斜航摄影像的匹配起到抛砖引玉的作用。
1倾斜航摄影像匹配的难点
众所周知，所有中心投影影像在局部范围内可以近似为仿射变换，而在常规的航空摄影中，由于航摄飞行平台姿态比较稳定，且保持垂直摄影，此时的仿射变换可以近似为相似变换[2]。因此，无论是基于灰度的影像匹配还是基于特征的影像匹配方法，均能获得不错的匹配效果。然而，同样的方法用于倾斜航摄影像的匹配却出现了困难，主要原因如下：
1)倾斜航摄影像间的仿射变换不能近似为相似变换。在由多个镜头集成的倾斜航空摄影系统中，侧视相机与下视相机、侧视相机之间均存在较大的摄影角度差异，如图1 所示。当使用基于灰度的影像匹配方法时，若不事先对影像匹配窗口进行预改正，即使是同名像点之间的相似性测度也是一个不确定的值。另一方面，当前大部分特征点提取算子都只能保证相似不变性[3，4]。因此，当相邻影像间的变换关系为仿射变换时，就难以提取到重复的特征点，此时的影像匹配理论必失效。
图1 倾斜航摄仪对同一地物拍摄的影像几何关系图
2)倾斜航摄影像间存在严重的遮蔽现象。就倾斜航空摄影而言，航摄区域大都是城区，遮挡现象普遍存在，加之影像中的大部分区域又都是人工地物，这对特征提取非常不利。此外，由于遮挡的存在，形成了大量的影像遮蔽区，即使采用具有仿射不变性的特征提取算子，提取到的特征点也难以均匀分布。
3)倾斜航空摄影主要用于城市三维建模，以自然地物为主的特征点在影像中表现出稳定的重复率，而人工地物由于形状规则，其边缘在影像中表现为高频成分，这部分特征往往不稳定。就城区而言，高楼林立，再加上倾斜航摄影像自身的几何特性，更加剧了影像匹配的难度。
2倾斜航摄影像匹配的常用方法
目前，常用的倾斜航摄影像匹配方法大多是基于特征的影像匹配方法，如SIFT(scale_invariantfeature transform)特征匹配[3]。尽管SIFT 特征匹配能够获得较多的匹配点，但是匹配的正确率比较低。从图2 的匹配结果不难发现，SIFT 匹配点通常集中在影像变形比较小的区域。究其原因在于倾斜摄影的视角变化过大，导致影像间存在较大的几何变形。因此，直接的解决方法是使用一种具有仿射不变性的特征描述子。
图2 SIFT 特征匹配结果图
(红色十字丝标识的为同名像点，共计23 对)
下面介绍几种常用的具有仿射不变特征的匹配方法，并比较其匹配效果。仿射不变特征匹配方法的基本原理可以参考文献[4]。本文所给出的匹配结果系采用具有仿射不变性的特征提取算子所获得的影像特征点，再依SIFT 特征描述符进行表达，并使用KD_Tree 算法[3] 进行搜索，从而得到匹配点，最后采用基于RANSAC(random sample consensus)的粗差检测方法[5]剔除了误匹配点。
2.1 基于仿射不变性的点特征匹配方法
1)ASIFT(affine SIFT)特征匹配[6]采用一系列垂直和水平方向的旋转对影像进行重采样，并模拟现实影像的仿射变换，然后采用SIFT算子提取特征点和进行特征描述。从这一思路中很容易看出ASIFT 的特点，它模拟的是平面上垂直和水平方向的旋转，使用离散角度来模拟连续的仿射变换，这必然带来精度的损失。此外，为了尽量描述多的组合角度，ASIFT 需要生成一系列的模拟影像，这势必降低了解算效率。图3 为使用ASIFT匹配方法得到的同名像点。从图3 中可以看出，虽然ASIFT 能够成功匹配到同名像点，但它们一般分布在平地上，点位分布非常不均匀，且对于一幅800 像素×600像素大小的立体影像对，匹配时间约为10 min。对于典型的倾斜航摄影像(以SWDC_5 影像为例)，影像幅面约为10 000 像素× 7 000 像素，若使用ASIFT 进行处理，将非常耗费内存和计算时间。
图3 ASIFT 匹配效果图
(红色十字丝标识的为同名像点，共计180 对)
2)Harris_Affine 特征匹配[7]
首先进行Harris 角点检测，然后使用迭代算法求解出仿射不变区域，并在迭代过程中剔除不稳定的特征点，从而得到仿射不变的Harris 特征点。由于Harris_Affine算子提取的是角点特征，且具有仿射不变性，而倾斜航摄影像的主要内容为人工建筑物，角点特征丰富，因此，Harris_Affine 比较适合于倾斜航摄影像的匹配。与ASIFT特征匹配方法相比，Harris_Affine的最大特点是计算效率远远高于ASIFT，缺点是匹配出的同名点数量偏少。其匹配效果如图4 所示。
图4 Harris-Affine 匹配效果图
(红色十字丝标识的为同名像点，共计13 对)
3)Hessian_Affine 特征匹配[8]
与Harris_Affine 不同的是，Hessian_Affine 特征提取的是Hessian 算子检测出的初始位置。Harris 特征与Hessian 特征的不同在于，前者检测的是经过自相关矩阵处理后的影像中的特征点，后者使用的是Hessian 矩阵处理后的影像特征点。Hessian_Affine倾向于检测影像中的斑点特征，这可以与Harris_Af_fine 特征联合使用于倾斜航摄影像的匹配。Hes_sian_Affine 提取的特征点如图5 所示。从图5 可以看出，Hessian_Affine 检测到的特征点与Harris_Affine得到的匹配点在分布上具有一致性，且两者计算效率大致相当。
图5 Hessian-Affine 特征匹配效果图
(红色十字丝标识的为同名像点，共计11 对)
2.2 基于线特征的倾斜航摄影像匹配方法[9，10]
由于倾斜航摄影像一般都位于城区，可以提取到大量除点之外的规则特征，如直线特征、圆弧特征等，因此可以使用线特征约束的匹配方法进行倾斜航摄影像的匹配。但对于线特征匹配尚没有成熟的方法，还存在端点定位不确定的缺陷，目前还未得到广泛的应用。
2.3 基于面特征的倾斜航摄影像匹配方法[11]
最稳定极值区域(maximally stable extremalregions，MSER)算法首先提取极大稳定区域，这些区域被证明是仿射不变区域，然后对比区域描述符，得到同名像点。图6 为使用MSER 特征匹配的效果图，匹配点数量依然较少，且误匹配率较高。
图6 MSER 匹配效果图
(红色十字丝标识的为同名像点，共计10 对)
2.4 基于影像纠正的倾斜航摄影像匹配方法[12]
这是目前用于倾斜航摄影像匹配最成功的方法。这种方法要求航空摄影前严格检校倾斜航摄仪中各个镜头之间的内参数(以SWDC_5 相机为例，一般会给出四个倾斜相机相对于下视相机的平移和旋转参数)。由于航摄仪中加装了POS 系统，航摄飞行时，只记录下视相机的空中位置和方位角，其余四个倾斜相机的外方位元素可以通过下视相机的外方位元素而获得，据此可以将各个倾斜相机拍摄的影像纠正到以某一基准面为参考面的“虚拟水平像片”上。此等效像片与下视影像具有几乎相同的空间姿态，因此可以使用常规航摄影像匹配方法来获得同名像点。
然而，这种方法的缺点是非常明显的：①依赖于POS 数据的精度;②依赖于检校参数的精度;③以等效像片为匹配媒介，而非真正意义上的倾斜航摄影像间的匹配。一般说来，得到的同名像点的精度较低，并且会将POS 数据误差和内检校参数误差等传递到影像的匹配结果中。
为了便于比较，表1 给出了以上各种匹配方法所获得的匹配点数量、匹配正确率和计算效率，对于其定位精度等相关问题还需要进一步的研究。
3倾斜航摄影像匹配的新思路
一般说来，倾斜航摄影像存在较大的基高比，对其进行空中三角测量有利于提高加密点的高程精度。就空中三角测量而言，影像自动量测是一个极其重要的环节，其精度受制于影像匹配的质量，并最终决定了空中三角测量的精度。前已述及，采用影像纠正的匹配方法除了对输入数据有较高的要求之外，在影像匹配精度上同样会存在一些问题，显然不是倾斜航摄影像自动量测的最佳解决方案。本文试图从倾斜航摄影像的直接匹配中去寻找匹配方法，同时将粗差检测融入匹配过程，一并解决影像匹配与误匹配点剔除的问题。
3.1 基于图匹配的倾斜航摄影像匹配方法
从§2 的实验结果可以看出，基于点特征的影像匹配方法在处理倾斜航摄影像匹配时往往不能奏效，归结起来无非是两点，一是找不到一种仿射不变性的且重复率高的特征提取算子;二是难以建立特征之间的相关映射关系。总体看来，ASIFT 特征基本满足仿射不变性的特点，但并不是一种高效的特
征描述符;Canny 线特征[13]在仿射变形影像下具有一定的重复率，但是线特征的匹配目前仍然存在较多的问题。为此，本文提出一种基于图匹配的倾斜航摄影像匹配方法构想。
前已述及，引起倾斜航摄影像匹配失败的关键因素是影像间的视角变化，因此首先应寻找一种在倾斜航摄影像中也具有高重复率的特征提取算子。从文献[4]和大量实验发现，在纹理丰富的影像中，Hessian_Affine 特征具有较高的重复率，而在结构较多的影像中，Harris_Affine 具有较高的重复率。这是因为，Hessian 算子可探测影像中的斑点特征，而自然地物有丰富的斑点特征;Harris 算子可探测影像中的角点特征。在以人工地物为主要内容的倾斜航摄影像中，可以联合使用Harris 和Hessian 特征同时提取影像的结构和纹理特征。
影像匹配过程中，常用的方法是对影像特征使用SIFT 特征描述符或者GLOH(gradient location_orientation histogram)特征描述符[4]。实验发现，在倾斜航摄影像的匹配中，使用SIFT 和GLOH 特征描述符的匹配效果差别并不明显。再者，经过对比特征描述符得到同名像点后，再根据影像间的几何关系进行误匹配点探测。这种方法是将影像的几何信息和灰度信息应用于不同的匹配环节中，如果将两者联合使用，就可以同时完成影像匹配与误匹配点剔除操作。
基于图论的影像匹配方法主要是采用图匹配的思想来寻找点集之间的对应关系。图匹配[14]的基本思想是使两对或者多对匹配点之间的匹配支持率之和达到最大。因此，图匹配问题即是求解一个全局最优问题，可采用松弛迭代的方法来求解。
假设
影像特征点之间的匹配问题便转化为在已知
因此，对于存在仿射变形的倾斜航摄影像的匹配问题，可以首先使用仿射不变特征提取算子(如联合使用Hessian 和Harris 特征)提取特征点，然后使用三阶图匹配算法去匹配这些特征点，从而解决倾斜航摄影像的匹配问题。
像点坐标/mm
图7 模拟数据的图匹配结果
3.2 基于三视张量的误匹配点自动剔除方法
误匹配点剔除是影像匹配过程中一个必不可少的重要环节。在常规航摄影像匹配中，通常使用相对定向方法来检测同名点上下视差是否存在粗差;若连续两个模型存在三度重叠点，则可以采用带模型连接条件的连续法相对定向[17]来检测连接点的左右视差是否存在粗差，由此可自动剔除误匹配点。然而，相对定向是需要迭代求解的，这就要求提供比较精确的初始值。对常规航摄影像而言，初始值的获取比较容易，但对于倾斜航摄影像，在没有任何先验知识的情况下，很难获取到位于收敛域范围内的初始值。另一方面，迭代次数与粗差和初始值精度密切相关，当粗差率较高、初始值较差时，迭代时间会加长，收敛速度会很慢。因此，在倾斜航摄影像的误匹配点检测中，常常使用基于RANSAC 粗差检测框架[18]的粗差探测方法。将RANSAC 与基础矩阵[2]相结合、RANSAC 与三视张量[2]组合的方法都能取得较好的效果。其实，RANSAC 是一种学习型的自动剔除粗差的向前_向后选择法[19]，通过寻找一致集，从中选出最多的无粗差的观测值子集。与普遍使用的数据探测法和选权迭代法[19]相比，RANSAC易于实现，且很容易与其他数学模型组合使用。这里需要指出的是，使用三视张量和基础矩阵的好处是，求解过程可直接求解线性方程组，而不需要耗时的迭代求解。更为重要的是，这种线性解无需初始值，并且具有较高的稳定性。
需要注意的是，在仅仅已知匹配点坐标和相机参数而无其他先验知识的情况下，无论采用何种粗差检测方法，都不能严格地探测到单张影像对上的误匹配点;另一方面，采用RANSAC 粗差探测方法可以有效地探测到大粗差，但是对于中小粗差，RANSAC 效果往往不尽人意。加之目前的粗差探测过程往往处于影像匹配之后，因此，发展带有粗差探测功能的影像匹配方法是值得推崇的。
4 结束语
本文通过分析各种常见的基于特征的影像匹配方法的本质，比较了一组典型倾斜航摄影像的匹配实验结果，指出了当前几种常用的倾斜航摄影像匹配方法的不足。为此，提出了一种基于图论的倾斜航摄影像匹配方法的构想，希望能一并解决影像匹配和误匹配点自动剔除的问题。不过，所提方法的可行性和具体效果还有待于进一步的实验研究。
[1]Gruen A. Development and Status of Image Match_ing in Photogrammetry[J]. The Photogrammetric Re_cord，2012，27(137)：36_57
[2]Hartley R，Zisserman A. Multiple View Geometry inComputer Vision[M]. Cambridge：Cambridge Univer_sity Press，2003
[3]Lowe D G. Distinctive Image Features from Scale_invariant Keypoints[J]. International Journal of Com_puter Vision，2004，60(2)：91_110
[4] Mikolajczyk K，Cordelia S. A Performance Evalua_tion of Local Descriptors[J]. IEEE Transactions onPattern Analysis and Machine Intelligence，2005，27(10)：1 615_1 630
[5]袁修孝，曹金山. 高分辨率卫星遥感精确对地目标定位理论与方法[M]. 北京：科学出版社，2012
[6] Morel J M，Yu G. ASIFT：A New Framework for Fully Affine Invariant Image Comparison[J]. SIAMJournal on Imaging Sciences，2009，2(2)：438_469
[7]Mikolajczyk K，Cordelia S. Scale and Affine Invari_ant Interest Point Detectors[J]. International Journal of Computer Vision，2004，60(1)：63_86
[8] Mikolajczyk K，Schmid C. An Affine Invariant In_terest Point Detector[J]. Lecture Notes in ComputerScience，2002，2 350：128_142
[9] Bay H，Ferrari V，Van Gool L. Wide_baseline Ste_reo Matching with Line Segments[C]. IEEE Com_puter Society Conference on Computer Vision and Pattern Recognition (CVPR 2005)，San Diego，CA，USA，2005
[10]Ho P，Kyoung M L，Sang U L. A Line Feature Matching Technique Based on an Eigenvector Ap_proach[J]. Computer Vision and Image Understand_ing，2000，77 (3)：263_283
[11]Forssén P E. Maximally Stable Colour Regions forRecognition and Matching[C]. IEEE Computer So_ciety Conference on Computer Vision and PatternRecognition (CVPR 2007)，Minneapolis，Minnesota，USA，2007
[12]朱俊峰. 利用倾斜影像进行三维数字重建的关键技术研究[D]. 武汉：武汉大学，2014
[13] Canny J. A Computational Approach to Edge De_tection[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence，1986，8(6)：679_698
[14] Gold S， Anand R. A Graduated Assignment Al_gorithm for Graph Matching[J]. IEEE Transactionson Pattern Analysis and Machine Intelligence，1996，18(4)：377_388
[15]Cour T，Srinivasan P，Shi J. Balanced Graph Match_ing [J]. Neural Information Processing Systems，2006，19(7)：313_320
[16]Duchenne O，Bach F，Kweon I. A Tensor_basedAlgorithm for High_order Graph Matching[J]. IEEETransactions on Pattern Analysis and Machine In_telligence，2011，33(12)：2 383_2 395
[17]张祖勋，张剑清. 数字摄影测量学[M]. 武汉：武汉大学出版社，2002
[18] Fischler M A，Bolles R C. Random Sample Con_sensus：A Paradigm for Model Fitting with Appli_cations to Image Analysis and Automated Cartog_raphy[J]. Communications of the ACM，1981，24(6)：381_395
[19]李德仁，袁修孝. 误差处理与可靠性理论[M]. 2 版.武汉：武汉大学出版社，2012
推荐阅读
---------------- 推 广 ---------------