导读
卫星导航定位数据、遥感影像数据、地图数据、地名数据等时空框架数据,同与位置相关的社会经济人文数据、行业应用数据、多媒体数据、互联网数据等时空变化数据,共同构成时空大数据。随着北斗、高分的规模化应用和物联网、5G等信息技术的快速发展,时空数据量呈爆发式增长态势,如何实现海量多源异构数据的统一存储、高效查询和分析计算,成为数字地球承载时空应用亟待解决的课题。
面向导航、通信、遥感融合发展和规模化应用的重大需求,中科星图针对融合应用的关键基础软件设施开展集中攻关,成功研发了新型大规模时空数据库iBEST-DB(Big data Engine Spatial-Temporal Database),并集成到新一代数字地球GEOVIS 6中,在强化高分遥感卫星应用服务能力的同时,拓展北斗导航位置数据存储能力,构建北斗时空框架,打造更为丰富的数字地球产品形态和应用模式。
作为时空数据库,iBEST-DB提供一系列的数据类型、函数、运算符和存储过程,用于对数字地球应用中涉及的海量、多源、异构、时空数据进行高效的存储、索引、查询和分析计算。在传统几何引擎的基础上,扩展了矢量金字塔、影像栅格、位置轨迹、物联网(IoT)、激光点云等数据引擎,提供了对多源异构时空数据统一存储、多模融合分析计算的能力。
面向矢量大数据可视化场景,为快速显示大规模矢量数据(千万级以上)而设计的免切片数据模型。对空间几何数据进行多层次简化压缩,从而获得以金字塔形状排列的数据精度逐步降低的数据集合。在数据库中,通过一个SQL语句即可构建矢量金字塔,同时完成数据的抽稀、简化和瓦片缓存,同样也可以通过一个SQL语句获取所需的瓦片:按照wmts规则输出标准mvt-pbf纯矢量瓦片或按需输出png栅格化矢量瓦片。
1.27亿条OSM亚洲多边形数据,矢量金字塔构建用时20分钟,在iCenter中发布矢量瓦片服务,可实现任意层级顺畅浏览,单个矢量瓦片请求时间为毫秒级。扩展了栅格引擎,提升了对高分影像等栅格数据的解析、存储、分析、转换、计算、输出等能力。采用分块的方式存储栅格数据,更适合像素级操作,适用于大规模遥感影像的拼接、计算、分析场景,提供丰富函数,用户无需代码开发,只需通过SQL即可实现遥感、栅格图像处理。
面向北斗高时频数据的存储及计算分析,扩展了轨迹引擎,可用于行人、移动设备、车辆、飞机、舰船等面向的移动对象轨迹存储、查询、计算分析等,支持轨迹数据挖掘移动对象的行为特征。采用水平存储替代垂直存储,构建轨迹数据模型,所需存储空间为原来的1/10左右;基于4D R-Tree思想,构建自适应时空混合索引,支持自定义轨迹模型的时空快速检索;基于算力下沉思想和近存储计算原则,提供常用轨迹相关UDF函数,如轨迹分割、轨迹噪声剔除、轨迹压缩、相似度分析等轨迹计算分析函数;提供6大类共计200+自定义轨迹SQL函数和操作符。
轨迹引擎提供了对历史轨迹的存储和分析计算能力,IoT引擎提供了对实时位置数据的存储和计算能力。通过动态表分区机制,支持单机百亿级数据的快速写入和查询;支持千万级目标的动态实时更新和高效空间查询,提供北斗网格热力图聚合统计能力:千万级目标网格聚合用时不超过一秒。
二、北斗网格引擎增强
基于我国自主发展的GeoSOT地球剖分网格框架,依据国家相关标准规范,iBEST-DB扩展研制了北斗网格引擎。
引擎定义了二三维一体化的北斗网格存储模型,实现网格在数据库中的一体化存储。支持数据库中矢量、栅格、地形、轨迹、点云、三维等传统GIS模型与北斗网格模型的转换。
基于北斗网格模型,提供丰富多样的函数和操作符,包括地理网格对象属性函数、网格关系(父子、临界)计算函数、网格(网格集合)空间关系判断函数(相等、包含、相交、被包含)、网格叠置分析函数(网格集合交集、并集)、二三维网格路径规划函数等。
数据库支持GB/T40087-2021《地球空间网格编码规则》、GB/T39409-2020《北斗网格位置码》、《实景三维中国-基础地理实体空间身份编码》等国家、行业标准编码解析和输出能力;数据库内置B-Tree网格索引和GIN网格索引,提供多尺度跨层级高效网格空间索引能力。
经测试,3150万条建筑多边形数据,网格索引检索效率是R-Tree索引的三倍,随着数据量增加优势逐渐增大。
三、分布式并行时空计算
作为分布式时空数据库,iBEST-DB采用MPP架构构建非共享集群。数据库通过数据分片、数据多副本组织、分布式事务处理机制,保证了海量时空数据存储能力和提高数据安全性、高可用性;通过多线程、多进程、多节点多级并行加速,实现PB级海量时空数据快速查询和复杂空间数据分布式计算。目前iBEST-DB提供单机版和分布式版本安装包。
四、国产自主可控
为适应国家“信息技术应用创新产业”和“安全可控体系”要求,iBEST-DB支持在不同的操作系统和异构CPU的服务器上运行,目前已完成中标麒麟、银河麒麟、红旗、Deepin、EulerOS等国产化操作系统以及飞腾、鲲鹏、海光、龙芯等国产CPU的适配。
iBEST-DB时空数据库依托于多模态时空数据支持、北斗网格引擎增强、分布式并行时空计算及国产化适配等特性,很好地实现了高分影像数据、北斗位置数据等多源异构空间数据一体化存储计算和北斗网格时空框架下的统一组织,为数字地球导通遥融合应用提供了坚实的基础支撑。
iBEST-DB可以独立部署使用,也可以作为GEOVIS其他产品线的内置数据库。自6.1.0版本起,GEOVIS iCenter已将内置主空间数据库更换为iBEST-DB。iBEST-DB为iCenter提供了系统业务数据、空间元数据、矢量主数据、实时位置数据、历史轨迹数据的存储;基于iBEST-DB发布矢量、矢量瓦片、地名地址、实时位置等GIS服务;为空间元数据提供全局统一的北斗网格索引,支撑了iCenter的北斗网格数管引擎,实现了多源异构空间数据的网格统一查询;通过iCenter对外提供北斗网格编码解析、网格空间分析计算、网格索引检索等服务接口。同时,在低空通航、应急、农业、气象、水利等GEOVIS+应用中也使用了iBEST-DB数据库,提供了诸如时空数据存储、北斗网格分析计算、空间分析并行加速等关键支撑。在多项重大项目中成功支撑了“高分+北斗”空天信息融合应用。今后iBEST-DB将持续加大投入,在时空一体化索引、真三维融合计算、分布式并行计算、专业数据模型扩展等关键技术持续发力,继续推动产品在实景三维中国、气象海洋、智慧城市、交通物流、安全应急等方向的应用落地,为数字地球乃至整个空天信息产业做出更大的贡献。