倾斜影像和近景影像空地融合精细化实景三维建模
摘要：无人机倾斜摄影测量弥补了航空摄影测量无法获取地物侧面纹理信息的缺陷，而且可以快速、自动获取大面积城市建筑物三维模型。但是，基于倾斜摄影建立的三维模型也存在一些问题，比如模型变形、纹理缺失等，导致所建立的模型存在质量问题。空地融合精细化实景三维建模技术将空中倾斜影像和近景影像的数据源结合构建精细化实景三维模型，利用地面影像弥补空中拍摄角度造成的地物遮挡、空中影像分辨率较低的问题，这项技术取得了较好的建模效果。
关键词：无人机倾斜影像；近景摄影测量；三维建模；空地融合；精度评定
无人机倾斜影像三维建模实践中普遍存在的一个问题是城市建筑物密集区域空中摄影存在较大遮挡，造成多视影像密集匹配精度受限，从而影响城市三维建模的精细程度。针对城市密集建筑物区域三维建模的摄影遮挡问题，本文提出了一种将无人机航空摄影影像与无人机近地拍摄影像相结合（空地融合）的方法，利用该方法进行城市三维模型的构建
1.1 空地融合的概念
“空”是指无人机航空拍摄的影像，“地”是指无人机近地面拍摄的近景影像，“空地融合”就是将无人机航摄获取的垂直影像和倾斜影像数据以及地面采集的近景影像数据导入三维建模软件ContextCapture（原名Smart3D）中，对数据进行前期处理，然后进行点云数据的融合以及三维重建，最后进行无缝集成。对于一些有遮挡或者地物复杂的区域，无人机航空拍摄时会出现摄影死角的现象，特别是在近地面和建筑的侧面细节表现上。无人机航空拍摄无法采集建筑物完整的纹理、结构等信息，导致建立的三维模型出现纹理不清晰或者变形等问题。而空地融合建模可以使得模型更加完整，模型的精细度更加准确，纹理更加清晰。
1.2获取影像数据
利用倾斜摄影平台快速获取多角度影像，已成为当前获取空间数据的有效方式之一，它在三维城市建设等领域有着独特的优势。无人机倾斜影像数据获取前，要在测区范围进行资料收集、实地观测、空域申请、航线设计等一系列准备工作。选择像控点时，必须选择清晰、易于判断和进行立体测量,且尽可能为永久地物的点；像控点要与周围地物影像反差大，特征明显，可选择交角良好的细小线状地物交点、明显地物拐角点等位置，如道路交叉口、斑马线交角等。像控点应在地面选择，优先选择高程不变的地面。若航摄时出现摄影漏洞或其他严重缺陷，需要及时补摄；漏洞补摄需要按照原来设计好的航线进行补摄。近景影像数据由人工在地面操作无人机或者手持数码相机进行拍摄得到。在拍摄过程中，最好使用具有防抖动的定标镜头或定焦镜头进行近距离影像拍摄，对于地面同一地物，拍摄时应具有相同的距离，保证重叠度达到60%,连续的两张像片之间的拍摄角度小于15°。对于采集到的空地多源影像,如果发现有模糊或者漏洞，应该及时补拍。
1.3空地融合建模的过程
空地融合建模主要基于ConTextCapture三维建模软件，将无人机航空摄影测量、地面近景摄影测量系统获取的数据作为实景三维建模的基础数据源，结合相机文件、无人机POS(position)系统提供的影像外方位元素进行三维建模。空地融合建模的技术路线如图1所示。
图1 空地融合建模的技术路线
1)添加像片及POS数据。将无人机倾斜影像和近地面影像分别导入ConTextCapture软件中，将POS数据也添加进来，经控制点刺点后，对航空倾斜影像和地面近景影像分别进行空中三角测量,获取每一张影像的外方位元素，生成三维尺度的高密度点云句，然后将二者的高密度点云融合。
2)点云数据融合。倾斜影像与近景影像采用的坐标系一致，瓦片的起始点和坐标的起始点也一致。倾斜影像点云和近景影像点云如图2所示。
图2 倾斜影像点云和近景影像点云
无人机倾斜影像的点云数据与近景影像的点云数据融合是将无人机拍摄的倾斜影像进行空三加密，生成一系列满足要求的密集点云；然后对近景倾斜影像进行空三加密，生成一系列满足要求的离散点云，结合实景三维模型上选取的同名控制点，对无人机拍摄的近景影像进行空三加密；最后再将所有的点云数据统一到同一空间参考基准下，进而实现倾斜影像的点云数据与近景影像的点云数据的有效融合。
3)三维重建。利用ContextCapture对融合后的点云数据进行三维建模，首先利用大量的点云数据构建较为精细的TIN(triangulatedirregularnetwork)结构模型，生成带有白膜的三维模型。在纹理映射时，因为无人机拍摄的倾斜影像具有精确的坐标信息，所以ContextCapture软件会计算出TIN模型中的每一个三角面片与影像的对应关系，将对应的纹理信息与TIN模型中的三角面片进行配准。将TIN结构模型构建完成后，利用分辨率较高的二维影像进行纹理贴图，生成较为逼真的实景三维模型。
4)空地模型的无缝集成。点云数据融合过程中可能会出现不融合的问题，导致建立的三维模型不衔接。因此，需要对倾斜影像和近景影像建立的模型进行无缝集成。无缝集成时，倾斜影像和近景影像各自建立的模型会出现交错覆盖的情况，而利用ConTextCapture软件无法将二者建立的模型进行无缝衔接，所以需要在DPModeler软件中将两个模型的套合处进行踏平操作，并将踏平后的瓦片和近景模型中的精细瓦片放到一个文件夹中调用。
1.4空地融合建模的关键技术
空地融合建模的关键技术如下。
1）无人机倾斜影像与近景影像之间要保持一定的重叠度，以便进行特征点的提取。重叠度的具体设置根据实验区的情况而定。
2）空地融合要求空间融合。为了保证航空影像与地面影像能够自动配准，需要采用统一的平面坐标系和高程基准，即空地多源数据要有统一的空间参考基准。应用不同的系统采集、处理倾斜影像和近景影像时，二者坐标系、瓦片起始点和坐标起始点的选择都将对无缝集成造成一定的影响。如何正确选择坐标系是无缝集成的关键。因此，需要制定统一的坐标系，统一的瓦片起始点和坐标起始点。
3）空地融合要求点云数据的融合，即将无人机倾斜影像匹配的点云与近景影像匹配的点云统一到相同空间参考基准下实现点云数据的有效融合。
4）空地融合要求影像融合。虽然密集匹配点云覆盖整个三维模型，点云数量极其庞大，但目标物表面的纹理、结构等信息不清晰，多地融合影像弥补了这一缺陷。无人机倾斜影像与地面近景影像的分辨率不同，需要从多源影像中选择最优分辨率的影像进行纹理贴图，以得到高精度的实景三维模型。
2.1数据获取
本实验以榆林市府谷县七星庙古文物为研究区域，利用航空倾斜影像构建模型和空地融合构建模型的方法进行建模。由于整个测区范围太大，所以从中选取有代表性的区域进行实验。利用无人机的高空和低空的飞行特点获取倾斜影像，并在近地面环绕建筑物的四周来获取建筑物的侧面纹理信息，将倾斜影像和近景影像结合进行精细化建模。
1）航空倾斜影像的获取。本实验采用DJ精灵4Pro无人机搭载五镜头相机组成的飞行平台获取倾斜影像数据和地面近景影像数据。实景三维建模对原始影像分辨率要求较高，但是由于受相机焦距的限制，飞行的相对高差一般在100〜30。m之间，此次飞行航高250m,4个倾斜方向拍摄了3540张影像，正摄拍摄了996张影像。航摄参数的设计见表1。
2）近景影像的获取。可采用单反相机、手机等方式进行地面近景拍摄。在地面近景拍摄获取影像过程中，最好选择定焦镜头，防止拍摄过程中因抖动而造成的像片质量问题;拍摄中的航向重叠度约75%,旁向重叠度约为65%。对于地面有遮挡的区域，本实验采用低空操作无人机定点拍照的方式获取建筑物更多侧面纹理和地面近距离影像数据。本实验对古建筑七星庙的标志性图案进行近距离拍摄，为了保证足够的重叠度，共拍摄地面近景影像852张。
2.2航空倾斜影像构建三维模型
基于ConTextCapture对影像数据进行空中三角测量、模型构建等处理，建立航空倾斜影像。该软件结合无人机采集的航空倾斜影像数据进行三维建模，生成带有真实纹理色彩的实景三维模型，得到的模型局部会存在拉花、模糊等现象。所建立的三维模型及三维模型的细节如图3所示。
图3 倾斜影像建立的三维模型及其细节
由于拍摄角度的不同，尤其是不同相机之间，在进行特征点提取时，和垂直影像相比，倾斜影像上获取的特征点会更少一些。在选取匹配影像时，应该优先选取同航线同名相机的影像作为候选影像进行匹配，同航线同名相机的影像间不用考虑倾角的影响，可以快速获取精准的匹配点；也可选择同姿态（影像间的角元素差异不大于10°）的影像作为候选影像进行匹配，从而获取准确的匹配点。
由于存在遮挡问题，所建立的三维模型会出现模糊现象。对于近地面的区域，无人机航空无法采集到相应的影像数据，导致提取到的密集点云较稀疏，无法构建完整的TN结构。另一方面，坐标信息与纹理坐标信息不对应，导致提取不到正确位置的纹理信息进行纹理贴图。
2.3空地融合构建模型
本文根据空地融合建模方法及关键技术进行实验。利用空地融合技术构建精细实景三维模型的关键是统一空间坐标系，通过Acute3DViewer浏览器在实景三维模型上选取特征点作为地面近景影像的控制点，辅助近景影像进行空三加密，实现无人机影像与地面近景影像的空间坐标统一；利用多视影像密集匹配算法提取密集点云，获取密集点云后构建TIN模型，经过密集点云融合处理后，所建区域融合了大量的特征点，生成白膜的三维模型,再利用软件本身可以优先选择高分辨率的影像数据进行纹理映射，构建精细化实景m维模型。所建立的三维模型以及三维模型的细节图4所示。
图4 空地融合建立的三维模型及其细节
综合分析，可将航空倾斜摄影技术与近景摄影技术有效结合进行空地融合精细化建模，该方法可以很大程度上提高所建模型的精度。
2.4不同建模方法对比
在实验中，截取部分几何结构进行进一步分析研究，发现空地融合前,构建的TIN结构模糊，经过纹理贴图后，模型拉花严重，精度低；经过空地融合后，构建的TIN结构清晰，经过纹理贴图后，模型精细，很大程度上改善了空地融合前拉花、破洞、精度低等问题。空地融合前后TIN模型的网格清晰度如图5所示，实景三维模型细节对比如图6、图7所示。
图5 融合前后的TIN模型
图6 融合前后龙图案的纹理细节
图7 融合前后墙面的纹理细节
通过对比空地融合前后龙图案的纹理和墙面的纹理信息，发现空地融合后的几何结构更加清晰，轮廓细节分辨率更高。经过空地融合，三维模型的局部信息更加精细，实景三维模型在融合区域的模型精度比未进行空地融合的三维模型几何结构精度高。利用空地融合的方法进行城市实景三维模型的构建,在提高三维模型精度的同时，还可以获得较好的城市三维模型效果。
2.5精度评定
为了检测空地融合所建立的模型是否达到精细化，可以从以下三个方面进行评估。
1)最直观的办法是将所建立的模型和实物进行目视观测对比，观察模型的纹理、结构等与实物存在的差别的大小。对比空地融合前后的模型，模型的纹理信息越清晰,说明所建模型的精度越高。
2)实景三维模型的精度主要从空三加密的理论精度与三维模型的实际精度进行分析。空三加密的理论精度评定采用软件自动生成精度报告，从而判断其是否满足要求。低空数字摄影测量规定空三加密的理论精度主要通过平面和高程的中误差来评定。空三加密报告见表2和表3。
对比空三加密前后的精度报告，发现空三加密后的光线距离中误差、水平均方根误差、垂直均方根误差均等均小于空三加密前的值。水平均方根误差均值为0.002m,最大中误差为0.003m；垂直均方根误差均值为0.001m,最大中误差为0.003m,都满足规范中的要求。
3)将实地测量的控制点坐标与模型上对应控制点的模型坐标进行对比，由式(1)计算得出模型中误差为±0.1215m(表4),误差值完全在合格范围。
随着城市化的进程加快，利用无人机倾斜影像进行三维建模越来越受欢迎。它提高了城市三维建模的效率，在降低成本的同时提高了建模效果。针对无人机倾斜影像三维建模中存在的问题，本文采用了对应的解决方法。针对城市密集建筑物区域三维建模的摄影遮挡问题，本文提出了空地融合技术方案，即联合航空倾斜摄影与近景摄影进行空地融合的精细化建模，该方案弥补了无人机航空倾斜影像和地面近景影像各自的缺点；构建了精细化的实景三维模型，并对空地融合所建立的模型精度进行评估，以期对无人机倾斜影像的精细化三维建模实践起到借鉴作用。
- END -