目标网格编码支持的多源遥感影像地理匹配
点击图片上方蓝色字体“慧天地”即可订阅
夏列钢1，杨存建2，陈 军3，胡晓东4,5
（1. 浙江工业大学 计算机科学与技术学院，浙江 杭州 310024；2. 四川师范大学 西南土地资源评价与监测教育部重点实验室 地理与资源科学学院，四川 成都 610068；3. 成都信息工程大学 资源环境学院，四川 成都 610225；4. 中国科学院 空天信息创新研究院，北京 100101；5. 苏州中科天启遥感科技有限公司，江苏 苏州 215000）
【关键词】目标网格编码；多源遥感；语义分割；地理位置匹配
【中图分类号】TP79 【文献标识码】A 【文章编号】1672-1586（2020）04-0036-05
引文格式：夏列钢，杨存建，陈 军，等. 目标网格编码支持的多源遥感影像地理匹配[J].地理信息世界,2020,27(4):36-40.
正文
0 引 言
对地观测技术、地理信息技术和计算机技术的不断发展，极大地推动了大范围、多来源、多尺度、多类型时空大数据的获取，并促进了各行各业对其的应用需求。但时空大数据的多源异构特征也给数据处理、地学分析以及信息提取应用增加了新的复杂性和困难，这主要表现在不同平台、不同传感器获取的数据，不同软件、不同方法处理得到的信息往往具有多时态、多尺度、多语义、多参考系等复杂特点。多源异构时空大数据融合已成为遥感地学分析、地图学亟待解决的科学技术问题。多源异构空间数据的位置属性是数据融合、协同应用的基础，对于空间位置不准确或者根本没有空间位置参考的数据，如何将其与基准位置匹配，如何将多源数据匹配至统一地理位置框架下，已成为制约数据融合及多源数据协同应用的基础问题。
基于控制点的图像配准是当前主流的空间数据匹配技术，但一般对控制点数量和精度有较高要求，自动提取控制点还对影像类型有要求。在机器学习蓬勃发展的今天，图像配准也依靠深度学习，取得了不少进展。然而不论何种匹配方式，传统图像配准的前提是先验了解待匹配影像与基准影像间的关联，即控制点选择的前提在于了解待匹配影像中关键点的可能位置。若预先没有范围或范围差距极大，则难以选择同名点，导致匹配难以完成。
针对传统图像配准存在的问题，本文提出了基于目标网格编码的多源数据匹配方法，以地物目标空间分布特征为依据，结合全球离散化格网思想建立多尺度目标网格编码。同时利用深度学习提取影像中稳定明显的地物，并以此为基础构建影像中地物分布编码，最后通过编码相似度匹配，快速实现待匹配影像的网格定位。从地理匹配实现过程来看，本文方法通过构建网格编码建立位置基准，对待匹配数据形式限制较小，在匹配精度和效率上也能取得较好平衡，在多源数据匹配融合上具有广阔的应用前景。
1 遥感影像地理配准方法分析
1.1 图像配准方法
作为计算机视觉中的基本方法，图像配准经过多年发展已成为较成熟的研究方向。传统基于控制点匹配的方法长期占据主流，特征控制点检测方法不断改进，尤以尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）、加速鲁棒特征（Speed-Up Robust Features，SURF）、特征提取及描述（Oriented FAST and Rotated BRIEF，ORB）等精心设计的特征为代表。随着深度学习的发展，特征学习技术也逐渐应用至图像配准领域。由于卷积神经网络特征学习良好的泛化性能，在匹配任务中一般优于SIFT描述子。不仅是特征学习，神经网络甚至能够学习两幅图像的变换参数，从而直接实现端到端的图像配准。从图像配准任务设计上就确定了配准是将同一个场景的不同图像转换到同样的坐标系统，因此肯定是从图像到图像，对于以地理位置作为配准目标的空间数据，除图像特征外还有更多地学特征值的应用，而深度学习也能发挥更大作用。
1.2 遥感影像配准
由于遥感影像获取方式的特殊性，几何校正一直是影像处理的关键技术，由于控制点自动查找技术的进步，当前几何校正的自动化程度已大大提高，同时由于高精度实测控制点的应用，影像几何校正精度基本能满足应用需求。当前对影像配准的研究主要从特征和数据类型深入，很多研究认为多特征融合（如点、形状、距离等）能有效提高匹配精度。随着卷积神经网络等方法的引入，特征学习与匹配的方法也展示出较好发展前景。也有学者不再拘泥于光学影像的配准，而是进一步将灯光、激光雷达（Light Detection and Ranging，LiDAR）、合成孔径雷达（Synthetic Aperture Radar，SAR）甚至地图数据等结合进来实现多模态配准。空间数据的多样性丰富了影像地理配准的模式，但仍未摆脱图像到图像的形式限制，对于更广泛的影像或地理数据直接配准到真实地理位置的形式仍需探讨。
本文从地理配准需求出发对匹配过程进行了重新梳理。首先，真实地理位置是匹配目标，形式上可以是传统的实测控制点，可以是基准影像，也可以是地图，但尚未有以剖分网格作为定位基准的；其次，同名点是最常用的空间匹配依据，一般也多依附于影像、明显目标而存在，而直接以目标空间分布特征进行匹配的方法较少应用；最后，以编码显式表征区域特点也使得大区域快速定位成为可能。由此本文提出了目标网格编码的概念支持多源数据匹配，以多层剖分网格内地物目标的空间分布形成与网格位置对应的编码，以编码相似度确定影像或数据的实际地理位置。
2 基于目标网格编码地理配准
实现基于目标网格编码的地理配准的前提是发现不同网格间的差异，本文提出以各网格内的地物目标空间分布特点标识网格，而地物类型复杂多变，考虑到实现可能，需要确定可以用于定位又能区分不同分布的地物目标分类体系。如图1所示，实现地理配准流程首先需要以实际目标的空间分布现状作为基准，引入多层次网格剖分方法对每个网格内的目标分布按编码方案生成多尺度网格编码。其次，待匹配影像或数据应同样包含与目标分类体系相应的信息。以遥感影像为例，引入语义分割模型提取各地物目标，同样按编码模型对所提取地物按分布特点编码。最后，将提取地物编码与基准网格编码比较相似度，定位至最匹配网格，即可用网格位置校正待匹配数据。
图1 基于目标网格编码的地理配准
Fig.1 The geographic matching based on target grid coding
2.1 地物目标网格编码
在已有的全球离散格网剖分方式中，等经纬度格网结构计算简单直观且与现有各类数据转换比较方便，容易进行地理坐标的计算和坐标转换，是大范围、多尺度空间数据组织管理中应用最为广泛的一种方式。本文采用等经纬度网格作为基准定位，由于网格位置固定，任意其他数据若能与某个网格在特征上对应即可实现定位，而且随着尺度变化，局部定位精度还可进一步提升，而以地物分布作为网格标识，意味着地理配准不再需要基准影像，只要待匹配数据蕴含地物分布信息即可实现匹配。
具体实现上按照统一的地物目标体系和编码方案可将网格内地物空间分布信息编码，从而形成覆盖所有区域的基准位置编码，由于地物复杂性及编码的抽象性，建立两者联系首先需要确定地物目标分类体系，一方面要考虑到实际数据稳定性及地物提取能力；另一方面也要根据地物空间分布的广泛性。其次需要统一的目标网格编码方案，如图2所示，将每一个网格作为一个目标载体，通过对不同网格内目标分布差异的标识形成独特的网格编码。首先将网格划分为N×N的block矩阵，每个block内抽样统计其包含的目标类型及数量，超过一定阈值将对应类型编码为1，否则为0，预设8个类型位（具体类型及阈值有目标分类体系按区域特点确定），于是一个block可编码为2位的16进制编码。以此为基础，顺序组合网格内所有block的16进制编码，形成代表目标网格的N×N×2位网格编码。只要地物目标分辨率足够精细，以此方案理论上可对任意大小网格进行编码，由于网格剖分一般以四叉树方式实现多层关联，目标网格编码也自然地具备了多尺度特性。
图2 目标网格编码方案
Fig.2 The strategy of target grid coding
一旦确定统一的网格基准编码，对待定位数据仅需确定其与哪个网格特征相似即可，需要确定数据中的地物分布并按上述方案编码，并需要对编码进行匹配。
2.2 定位地物目标提取
由于配准以地物分布特征为基础，任意来源的影像或数据只要可以提取地物且分布信息充足就能匹配，甚至不需要任何基准影像参考，这也是本文方法与传统影像配准应用上最大的不同。以常用的遥感影像作为待匹配数据，首先需要进行定位地物目标提取，本文采用语义分割方法完成目标分类体系所规定类型的提取，以高分辨率深度神经网络（High-Resolution NET，HRNet）为基础针对遥感影像特点和目标类型需求进行网格调整，如图3所示，实现了基于高分遥感影像的地物目标智能提取。由于本文对目标提取的需求主要为定位，按目标分类体系的设计，仅对影像中稳定且明显的地物进行提取，因此基于语义分割的整体精度能满足提取要求。
图3 HRNet语义分割网络
Fig.3 HRNet semantic segmentation network
从目标网格编码匹配的需求来看，实际仅需待匹配数据蕴含地物目标分布信息即可用于定位，以语义分割提取高分影像的语义信息仅是其中一种，实际上各种来源的地图、影像都有可能提取相应的目标，在目标提取结果上以上文所述编码方案即可对影像或数据处理得到待匹配编码，以编码相似度即可确定该数据所对应网格即真实位置，因此本文的方法从理论上适合多源数据的大区域匹配。
2.3 多层编码匹配定位
对数据地理配准的前提是基于已提取的目标确定合适的网格然后编码，然而由于数据位置的不确定性，如图4所示，首先需要确定当前数据适用哪一层次的网格，然后以固定大小的窗口在数据范围内按一定步长滑动，每个候选窗口都可以形成一个编码，将此编码与基准目标网格编码计算相似度（对应编码位相同与否），由此从所有候选窗口中确定最可能的网格位置。在多尺度匹配过程中还可在前述位置上进一步以更小的窗口进行更小步长的滑动，而此时待匹配的基准网格同样在原有位置缩小，从而实现更高效精准的编码匹配。
图4 多尺度网格匹配过程
Fig.4 The process of multi-scale grid matching
最终完成匹配的窗口与网格对应，由于网格位置固定且已知，显然窗口及待定位影像的地理位置也可轻易确定，而更小网格匹配时的窗口移动步长更小，也使得位置更精准。
3 遥感影像地理配准实验
3.1 实验数据与设置
本文选择土地利用现状数据转换的目标分布作为基准进行网格编码（目标体系主要为耕地、林地、水体、建筑、道路等，网格层次包括13～18级），实验以四川罗江县（采用谷歌地球与天地图网格影像，空间分辨率均为0.59 m）及江苏海安市（采用0.8 m的高分2号影像与0.59 m的天地图网格影像）两个地域的多源影像地理配准为目标。实验首先计算所有影像的语义分割结果，然后按多尺度编码匹配方案将影像定位至固定网格，最终以网格位置校正所有影像至基准位置。
图5为两个区域的验证点分布情况，我们在两个区域的每种影像上分别采集9个验证点（未变化的道路交叉口），最终以不同影像上相应验证点间距离差作为评价匹配效果的依据。
图5 多源数据匹配验证点
Fig.5 Check points of multi-source data matching
3.2 实验结果及分析
经过上述实验过程得到如图6所示匹配结果，两个区域的影像均实现了较好匹配，由于方法以目标语义为编码依据，而影像光谱、时相的差异对自动匹配没有影响，因此整体匹配效果稳定。按验证点得到了表1所列误差值，可以发现地处平原的海安市取得了比丘陵区的罗江县更好的匹配效果，这与区域地物分布现状、数据及实验设计等几方面有关，其中关键在于地物分布，海安市人工改造地物较多，道路水系发达，客观上使土地利用边界分明，网格编码准确度更高，匹配过程中对窗口的移动也更敏感，因此能取得更高的精度。
图6 多源影像匹配效果
Fig.6 The results after multi-source matching
表1 验证点误差表
Tab.1 Errors of check points
本文方法从编码设计上采用抽样统计的方式，匹配过程中引入了滑动窗口，这两种方式简化了编码及匹配的复杂度，但也不可避免地引入了系统误差，同时验证点的人工选择也存在一定误差，这些误差的存在增加了最终匹配结果的不稳定性，也是本文方法难以与传统配准方法公平比较的原因，但从改进角度，通过大量网格协同匹配以及更多验证点协同验证可以弥补部分误差。
从网格编码设置和匹配过程看，本文方法仅适用于刚性平移变换，对旋转、缩放甚至扭曲等变换则难以匹配，这在一定程度上会限制应用，后期将进一步考虑引入更多选择、尺度不变因子，同时对区域数据应用基于深度卷积神经网络的特征学习可能使编码更适合多种变换方式，但对效率和可解释性也会有较大影响，后续研究中将更好地平衡这些因素使整体应用更广泛可靠。
由于地物分布实际情况，存在部分网格（特别是高层级网格）内地物单一，若影像内含大量不具唯一性的网格（实际上这种影像用传统方法也较难选择控制点），则难以发挥网格定位功能，由于本文方法在设计上没有人工参与过程，因此理论上存在影像无法匹配的可能性，后续将在大量实验基础上对匹配相似度进行统计，自动匹配低于一定阈值即可判定为不可靠匹配，从而满足更多应用需求。
4 结束语
以地物空间分布特征为基础的目标网格编码丰富了剖分格网的内涵，也为一般空间数据的地理配准提供了新的可能途径，本文通过对目标网格编码方案，影像语义分割用于目标提取，多尺度编码匹配等方法的设计与实现初步建立了相对完整的网格编码匹配体系，同时在江苏和四川的多源数据配准试验验证了其在影像匹配上的实用性，也展现了较强的适应能力。但由于完整的编码匹配技术体系庞大，从理论到技术仍有较多欠缺有待弥补，首先网格编码的差异性（本质上是地物分布特征的多尺度唯一性）仍未从理论层面加以明确，严格来讲难以排除不同地点具有相似编码的可能；其次基于采样统计的抽象化编码方案对地物变化及提取误差具有一定容忍性，但实际上也影响了编码相似度的准确性，如何在这两者间取得平衡也需要更深入研究；最后以网格为基准的显式编码虽然更适合机器存储与匹配，但其应用限制较大，智能化可学习的编码方案有可能进一步拓展网格特征。
作者简介：夏列钢（1986-），男，浙江绍兴人，讲师，博士，主要从事遥感图像智能理解、空间信息自动提取与应用等研究工作。
E-mail:xialg@zjut.edu.cn
内容转载、商务活动、投稿等合作请联系
微信号：huitiandi321
邮箱：geomaticshtd@163.com
欢迎关注慧天地同名新浪微博：
ID：慧天地_geomaticser
基于精准时空信息的城市关键公共基础设施运行预警 决策方法综述
《慧天地》敬告
《慧天地》公众号聚焦国内外时空信息科技前沿、行业发展动态、跨界融合趋势，探索企业核心竞争力，传播测绘地理信息文化，为测绘、地信、遥感等相关专业的同学提供日常学习、考研就业一站式服务，旨在打造政产学研用精准对接的平台。《慧天地》高度重视版权，对于原创、委托发布的稿件，会烦请作者、委托方亲自审核通过后才正式推发；对于来自网站、期刊、书籍、微博、微信公众号等媒介的稿件，会在作者栏或者文章开头显著标明出处，以表达对作者和推文引用平台版权的充分尊重和感谢；对于来源于网络作者不明的优质作品，转载时如出现侵权，请后台留言，我们会及时删除。感谢大家一直以来对《慧天地》的关注和支持！