【自然资源一体化“新”架构】自然资源多源异构应用系统和数据的整合技术

点击蓝字关注我们

导读

自然资源机构改革调整后，自然资源部门涵盖了水资源、土地、矿产、农业、林业、海洋等自然资源多个领域的多种职能，将陆地、海洋自然资源纳入统一的管理体系，实现国土空间管制与自然资源配置的有效衔接。从信息化的视角来看，组织职能的有效衔接，到信息系统有效衔接，实质上是应用系统及数据资源的有效融合与衔接。

在《自然资源部信息化建设总体方案》中，明确要求完善数据汇交、备案、交换与同步机制。其中，对于调查监测类、国土空间规划类数据，要通过逐级汇交方式实现数据汇聚；对于自然资源管理类数据，要通过实时备案、在线业务协同等方式实现数据汇聚；对于政府其他部门的数据，要通过复制、交换、共享等方式实现数据汇聚；对于互联网类数据，则通过网上接口、下载等方式实现数据汇聚。为保障数据同步与更新，需要提供离线汇交、在线调用、服务等多种接入方式。

在自然资源机构改革的新秩序下，需要在利用好传统技术的前提下，充分结合最新的信息技术，探索以微服务架构为核心的分布式与面向服务技术，建立“分兵把守、各自建设、统一服务”的应用系统和数据建设、管理与应用机制。

传统架构下的技术路线

在自然资源领域，对于应用系统和数据整合的需求是五花八门的，比如：数据的实时对接或批量对接、数据实时或T+1同步、单向数据传输等。在传统技术路线下，可以归纳为以下几种方式或是通过组合搭配方式解决，即：SOAP服务调用、FTP文件交换、数据库共享交换、消息队列信息通讯以及数据抽取-转换-加载（ETL）等。

0

1

跨平台，SOAP服务对接

简单对象访问协议（SOAP）是一种轻量的、简单的、基于XML的数据交换协议，它被设计成交换结构化或相对固化的信息。

SOAP服务具有简单、可扩展的特点，其实现与厂商、编程语言和具体厂商都没有关系。SOAP客户端发送一个请求，调用相应的对象，然后服务器返回结果。这些消息是XML 格式的，封装成HTTP 协议，符合任何路由器、防火墙或代理服务器的要求。SOAP可以使用任何语言来完成，可以在任何操作系统中无需改动正常运行。因此，SOAP具有强大的网络穿透能力，具有广泛的适应性，比较适合当前自然资源部门应用系统繁多、技术体系不一、数据多源异构这一现实性的应用系统和数据集成要求。

0

2

大文件，FTP文件共享

文件传输协议（FTP）虽然是一种非常传统的数据共享和交换技术，但是，在自然资源领域中，针对遥感图像、三维地图、CAD图纸（Drawing）、激光点云等大数据量文件的交互，采用FTP交互方式是最合适不过的了。

只要在应用系统之间约定文件服务器地址、文件命名规则、文件内容格式等参数，通过文件服务器的文件上传和下载，即可完成数据交互。该方案简单实用，避免了去理解、实现复杂网络传输和网络协议等相关概念和技术。

FTP的主要缺点一是安全性较弱，一般依赖于操作系统层级的文件安全性；二是对于需要随机存取数据文件内任意指定部分的要求，无法响应，不够灵活。

0

3

关系型，数据库数据共享

自然资源领域涉及到七大关键业务环节，与每个业务环节对应的多个业务应用系统之间存在大量的数据共享交换要求。对于应用系统之间的数据交换来说，可以采用共享数据库作为数据交换介质。

在两个应用系统间完全互信的情况下，可以直接读取对方数据库里的数据。通常情况下，每个应用系统对于数据的保密性、安全性都有一定的要求，不允许随便开放给其他应用系统直接存取。在这种情况下，可以通过建立第三方公共交换库，通过该库实现应用系统间的数据共享交换。

相比文件传输方式（FTP）来说，因为使用的同一个共享数据库，交互更加简单。而且，数据库管理系统可以提供相当多的数据操作，比如复杂的条件查询、更新、回滚等，交互方式比较灵活。通过数据库的事务机制，可以保证数据交换的可靠性。

0

4

异步，消息队列通讯

消息队列是更加松耦合、灵活、可靠的应用系统集成和数据交换共享技术。通过引入消息中间件，在所有应用系统之间建立起可实现消息传输、路由、过滤、增强、错误捕获和处理的消息传输机制，由消息队列来保证数据传输的异步性和稳定性。消息队列跟互联网的连接结构类似，所有数据都可以通过消息中间件，建立起一条可靠的消息传输链路，进行应用系统间的通信。

微服务新架构下的多源异构系统整合

在引入微服务架构后，对于多源异构系统的整合，可以通过服务网格技术来解决。通过服务网格的分布式事务控制机制，解决微服务环境下的数据一致性问题；通过API网关，解决微服务安全性问题。

01 异构应用，服务网格化

根据《自然资源部信息化建设总体方案》的规划，在统一的国土空间基础信息平台之上，需要构建三大应用体系，即：自然资源调查监测评价应用体系、自然资源监管决策应用体系、“互联网+自然资源政务服务”应用体系。这就必然涉及到多家不同开发建设单位，以及错综复杂的、异构的技术体系。采用面向服务架构（SOA），能够消除不同技术体系之间的差异，实现异构系统间的无缝对接。作为新一代SOA的微服务架构，具有同样的特点和作用。

在初始的微服务架构中，把服务的业务逻辑和集成治理两者结合在一起。由于缺乏一个通用的机制，在微服务间实行集成对接时，通常采用点对点、“见招拆招”式的方式，较为繁琐和困难。为了更好地解决服务对接和编排的问题，应把两者解耦。

把与微服务治理相关的服务注册、发现、负载均衡、限流、熔断、路由等机制部署到每一台服务主机节点上，相当于把服务治理与业务逻辑做了拆解，让服务治理成为独立进程，运行在每一个服务主机上，提供通用的机制，实现异构系统的统一治理。对于每个服务节点来说，可以将这些治理进程类比于三轮摩托车的边车，并采用“边车”（Sidecar）这一术语来称呼它。

从一个全局视角来看，把所有“边车”（Sidecar）节点连接起来，便形成了服务网格（Service Mesh）。

02 多源数据，分布式事务控制

当自然资源应用体系逐步微服务化，并且走向服务网格化后，通过微服务的互相调用和分布式协作，即可快速编排、开发出各项业务应用功能。那么，在业务层面，就需要满足事务的一致性要求和分布式事务控制能力，即：如果事务处理成功，则业务得以全部完成，数据前后保持一致；如果处理过程中遇到故障，所有业务处理应全部回滚，恢复到其初始状态。

以阿里分布式事务控制产品（GTS，Global Transaction Service）为例，它包括客户端（GTS Client）、资源管理器（GTS RM）和事务协调器（GTS Server）三个部分。GTS Client主要用来界定事务边界，完成事务的发起与结束。GTS RM完成事务分支的创建、提交、回滚等操作。GTS Server主要负责分布式事务的整体推进，事务生命周期的管理。

03 安全保障，API网关管控

在自然资源的应用体系中，除了要整合局内系统外，有些是需要对平行部门、上级或下级提供API接口服务的。同时，越来越多的自然资源应用将走向“互联网+”，需要与外部网络环境进行更多的对接交互，甚至全部运行在外网环境下。网络安全问题越来越成为自然资源信息化建设工程的首要关切。通过API网关，可以为“互联网+”应用体系提供额外保护层，防止诸如SQL注入、XML解析器漏洞和拒绝服务（DoS）等恶意攻击。通过API网关，可以保障服务的安全性。

在微服务架构中，API网关通常出现在应用系统的边界上，扮演着“外交官”的角色，是业务系统和外部交互的重要桥梁。在大型分布式系统中，API网关为保护内部服务而设置了一道屏障，可以提供高性能、高可用的托管服务，帮助应用开发人员便捷地对外提供服务，而不用考虑安全控制、流量控制、审计日志等问题。网关的下一层则是内部服务，是具体业务的实现。

网关层作为客户端与服务端的一层挡板，主要起到三大作用：

一是隔离。作为系统边界，隔离外网系统与内网系统。

二是解耦。通过解耦，使得微服务系统的各方能够独立、自由、高效、灵活地调整，而不用担心给其他方面带来影响。

三是为应用开发人员提供一个“脚手架”。通过扩展API网关提供的访问地址，对用户请求进行一系列加工和处理。

结语

在以上技术体系下，上海数慧已经在承建的多个自然资源一体化项目中，实现了业务系统间的顺畅对接。以广州市为例，核心业务系统对接了13个子系统，政务调度系统对接了5个子系统，总共近200个业务接口，保障了全局业务的上通下达、左右通畅。

 系列专题  

✧
✧
✧
✧	自然资源多源异构应用系统和数据的整合技术
✧	自然资源业务数据治理的七步战法

记得长按识别下方二维码，关注我哦～

点“在看”给我一朵小黄花