01
分布式空间数据存储与管理技术
其他
“五高一大”的SuperMap分布式GIS技术体系
本文刊登于2020年11月第70期《超图通讯》
分布式GIS是指利用最先进的分布式计算技术，来处理分布在网络上的多源异构的地理空间信息，集成网络上不同平台上的空间服务，构建一个物理上分布、逻辑上统一的地理信息系统。
SuperMap分布式GIS技术体系包括分布式空间数据存储与管理技术、分布式空间分析与处理技术、云原生GIS技术和边缘GIS技术，支撑海量经典空间数据和空间大数据的存储、管理、分析、处理、可视化与发布，实现GIS在高可用、高并发、高弹性、高性能、大容量、高可信等“五高一大”的重大突破，构建云边端一体化GIS的分布式协同新模式。
SuperMap分布式GIS技术体系
为实现对自然资源监管、航空航天遥感、导航定位等多源异构时空数据的统一管理，SuperMap提出了弹性分布式时空数据一体化模型，结合分布式存储系统建立统一的数据管理引擎，极大提升了数据访问和查询效率，可支持PB级规模时空数据的存储与管理。
SuperMap分布式时空数据一体化模型关键技术，包含基于一体化模型的分布式空间文件系统、分布式SQL空间数据库、分布式NoSQL空间数据库。其中，不同存储格式下的时空数据分别通过不同的SuperMap数据引擎进行访问，并统一使用一体化模型进行分布式转换，为后续的分布式GIS软件提供完善的基础支撑。
SuperMap分布式空间数据引擎
例如，在SuperMap分布式空间数据引擎支撑下，在SuperMap iDesktopX桌面产品中可以直接打开HDFS数据源，进行数据浏览、地图制图。
基于SuperMap iDesktopX的HDFS地图制图
在10i(2020)版本中，SuperMap还推出了空间区块链技术，有效确保地理空间数据的质量和真实性，提供面向时空数据的高安全、可追溯、高可信的应用新模式。
空间区块链功能特性涵盖SuperMap的组件、桌面、服务器GIS产品，基于分布式账本技术的空间区块链基础组件，提供了面向空间数据的去中心化的存储管理，应用区块链加密技术实现了空间数据的防篡改。支持区块链空间数据Fabric与IPFS联合存储，支持空间区块链数据查询、编辑、历史追溯功能，支持空间区块链的地图服务、数据服务和数据历史服务。
SuperMap空间区块链技术
02
分布式空间分析与处理技术
为提升地理空间数据处理效率，SuperMap提出了地理空间信息领域的全过程 “ 分布 - 并行-协同 ” 的分布式空间计算技术，可支持单表十亿级规模空间数据的处理与分析。将亿级空间数据从入库到发布的全过程时间从数月降低到数小时，相比传统空间分析计算效率提升50倍，并支持超大规模时空数据的快速发布与高效可视化渲染。
截至10i(2020)版本，SuperMap已支持200多种分布式空间数据处理工具，提供70多种分布式空间分析算子，并提供了内核级扩展Spark的空间数据模型，除了自身对Spark的基础数据模型(RDD/DataFrame)进行扩展(FeatureRDD)外，还支持用户自定义扩展实现自定义算子，完成数据处理、空间查询、要素连接、属性统计、缓冲区分析、轨迹分析等常用功能，以及客户自定义的其他相关功能。
分布式空间分析与处理过程
03
云原生GIS技术
为实现GIS分布式计算过程的高可用、高弹性以及更易用，SuperMap将云原生技术应用于分布式GIS产品，基于微服务架构对分布式GIS服务流程进行重构，以容器为部署载体，实现了自动化编排与运维管理。这实现数千个GIS微服务的快速批量部署与弹性伸缩；通过GIS资源的有效动态调度，可快速应对突发事件，实现既有硬件环境下的资源利用最优；依托微服务架构，实现GIS系统快速横向扩容，减少90%的系统部署时间。为大型复杂分布式GIS系统的高效构建和运行奠定基础。
• 支持GIS功能拆分为微服务，可按需弹性伸缩。
• 实现地图、三维、大数据、AI功能的全面微服务化。
• 支持容器化部署，提供GIS节点滚动升级、弹性伸缩和故障恢复。
• 支持无缝升级，在不中断服务的情况下，支持局部升级/回滚。
• 提供基于Kubernetes的通用自动化编排，实现对所有微服务资源的实时监控。
• 新增云原生GIS扩展开发能力。
分布式GIS站点的微服务拓扑图
在10i(2020)版本中，GIS微服务包进一步拆分，在包的体量、资源占用、启动速度上有明显提升，使得云原生GIS更轻量、更细粒、更快速，提高了GIS系统伸缩效率。
04
边缘GIS技术
边缘计算GIS技术指的是将边缘计算的各种特征，用于支撑GIS应用的各要素，包括GIS内容的发布和分发，GIS服务的代理和加速，以及在线分析和计算，以一种更加灵活的方式，高效率、低成本地使用地理信息资源。SuperMap提供了业界独有的边缘GIS产品 ——SuperMap iEdge，支持构建云边端一体化应用系统。
边缘计算GIS技术是SuperMap分布式GIS技术的重要的补充，涉及到几个关键能力：
• 边缘前置代理：在GIS云中心和客户端之间，对GIS服务进行代理加速，提供更好的服务访问体验。
• 边缘服务聚合：将不同来源，不同内容的GIS服务聚合为一个服务，实现多源、异构地理信息与服务的整合。
• 边缘内容分发：云GIS中心自动将瓦片数据分发到边缘GIS节点，实现了边缘GIS内容的自动更新。
• 边缘分析计算：在边缘端按需进行GIS分析和计算，有效提升GIS服务性能。
在边缘分析计算中，可基于本地数据，PostGIS数据与HBase数据渲染出图，基于本地数据，PostGIS数据与HBase数据空间查询、属性查询，并进行量算、坐标转换、空间关系、空间运算等GIS分析处理操作，充分利用边缘设备的能力，提升GIS整体分析计算效率。
边缘GIS服务器
SuperMap分布式GIS打破了传统技术高并发处理能力弱，计算分析调度颗粒粗、时效性低，分布式节点资源利用率低、无法快速弹性调度，GIS运算中心压力大等局限性，在云边端多层分布式空间计算技术体系、GIS微服务、分布式空间引擎、边缘计算等方面取得了新成果，形成了从GIS内核、服务器到浏览器端、桌面端和移动端的全系列分布式GIS基础软件形态，可有效支撑超大规模时空数据应用的快速定制和灵活搭建，促进基础测绘、自然资源规划、智慧城市建设、大型工程项目建设、资源环境管理、国防建设、应急减灾等行业领域应用升级。
文/云产品研发中心 苏乐乐
欢迎转载~