超大规模矢量空间数据，如何高效管理与服务发布？

随着获取技术的不断进步，空间数据更趋多元化，数据量也从TG级快速增长到PG级。面对超大规模和复杂的空间矢量数据，如何进行高效存取、管理与发布，已成为一个迫切需要解决的问题。

SuperMap也一直在探索更优的解决方案，在之前发布的版本中推出的PostgreSQL、HDFS，可以用来存储大规模的矢量空间数。表格1归纳了两者在空间数据管理和分布式计算能力方面的特点，可见两者各有侧重。为了同时兼备高效的空间数据管理和分布式计算能力，SuperMap推出新的分布式空间数据库HBase。

HBase构建在HDFS之上，是一个开源的、分布式的、版本化的非关系型数据库。它的核心存储模型是基于Google的BigTable构建，目标是在廉价、可扩展的硬件设备之上，托管可以达到数十亿行和百万列级别的表对象。它具有模块化的设计，支持水平扩展和自动表分片，并且支持不同区域服务器之间的自动故障转移。

表格1 支持大规模矢量数据的分布式空间数据库对比

本文将从HBase空间数据库的数据存储、查询等数据管理方面，介绍HBase在管理超大规模矢量空间数据方面的特点。

高效管理

HBase空间数据库具有超高数据写入性能，这为亿级别的数据高效入库和数据管理提供可靠支撑。本文使用Oracle关系型数据库和HBase空间数据库针对数据的分布式入库性能进行了对比分析，主要考核指标是每秒写入的对象个数，对于Oracle关系型数据库，单节点每秒大概写入5000个对象，Oracle集群每秒写入约1万个对象；对于3节点的HBase每秒能写入约4万个对象，而8节点的HBase每秒写入对象达11万个。

图1 分布式数据入库性能对比分析结果

SuperMap iServer 9D(2019)提供了将矢量空间数据导入到HBase的工具。首先需要部署HBase数据库，用户根据应用需求，选择部署单机版还是集群版，一般都会选择部署集群进行海量数据的入库，这样不仅具有很高的数据存储可靠性，当HBase的性能不足时，还可以增加HBase的服务器数量来提高性能，具有很强的横向扩展性。接下来，在SuperMap iServer 9D(2019)的“创建数据导入作业”中填写相关的信息，即可实现数据的分布式批量快速导入。这里支持UDB、Shapefile、GDB等格式以及各种属性表和文本文件导入到HBase中，且在SuperMap iServer 9D(2019)中还可以方便地查看导入到HBase空间数据库中数据集的详细信息，包括数据坐标系、数据集名称、类型、地理范围等。

通常，数据库高性能的衡量标准，不仅指有高性能的数据写入能力——存，还要有高性能的查询能力——取。面对亿级的矢量空间数据的查询，HBase空间数据库可以达到毫秒级的响应，从1亿个点数据中查询返回1000个点要素，响应时间约100毫秒；返回1万个点要素，响应时间约200毫秒；随着返回要素的增多，性能并未直线下降。

图2 查看HBase空间数据库中数据集的详细信息

服务发布

HBase空间数据库完全胜任超大规模矢量空间数据的管理，而空间数据的管理少不了可视化展示，并进一步通过地图服务的方式共享空间信息。按照传统方式，要先创建地图瓦片，再发布为地图服务。然而，基于表格2所示数据量的地图，按照切片所占用的时间和磁盘空间推算，大规模数据地图创建的地图瓦片占用的资源非常巨大。

基于HBase高效的超大规模矢量空间数据的分布式存取能力，SuperMap iServer 9D(2019)结合高性能动态渲染技术，支持将HBase数据直接发布为矢量地图服务，无需提前生成地图瓦片，节省大量时间和磁盘空间。以120GB矢量空间数据为例，从入库到发布，新技术较传统切图模式有80倍的性能提升，如图4所示。

表格2 矢量地图生成地图瓦片消耗资源统计

图3 SuperMap iServer快速发布HBase矢量数据地图服务

图4 传统模式与新技术在海量矢量数据入库和发布流程的性能对比

发布矢量地图服务时，矢量数据的风格通过MapBox的风格文件（.json）指定，这使得矢量地图服务的风格修改更加灵活，且iMapStyler Web APP可以实现在线修改地图风格。

图5 在客户端对矢量地图应用MapBox风格并且支持风格修改

SuperMap这种针对超大规模矢量空间数据的地图服务发布方案，具有较优的客户端数据浏览体验。浏览过程中，无感自动缓存地图瓦片，亿级矢量数据也能流畅浏览。对于4.5亿线对象、约28亿节点的数据浏览，刷新一次的响应时间仅1秒。

图6 对HBase数据库中4.5亿线对象在客户端高性能动态渲染效果

图7 对HBase数据库中某省地类图斑在客户端高性能动态渲染效果

综上所述，相比其他分布式数据库，HBase空间数据库具有更高效的数据管理能力，且横向扩展能力强，可以通过增加HBase的服务器数量进一步提升性能；同时，HBase空间数据库中的超大规模矢量空间数据可以直接发布为地图服务，客户端实现高性能动态渲染，免去了用户创建地图瓦片的痛苦，具有良好的用户体验。因此，该技术路线是目前超大规模矢量空间数据的高效管理与服务发布的最优解决方案。

作者 | 大数据与AI研发中心 云惟英 王丽莉

责编 | 王静静

【近期回顾】

▼

欢迎转载~