查看原文
其他

你问我答:什么是MapGIS分布式大数据存储方案?

导读

随着物联网、云计算、人工智能等技术的快速发展以及互联网应用的不断深入,数据的获取方式有了天翻地覆的变化,可简便快速的获取相对于过去成百上千倍的数据量,数据的类型也越来越丰富多样,数据更新的速率也在不断提升。针对越来越海量、多样,频繁更新的地理大数据应用要求,传统的关系型数据库越来越无法胜任大数据时代的要求。


问:MapGIS是如何有效实现多源异构、海量的地理大数据的存储?

MapGIS在传统关系型空间数据库引擎MapGIS SDE的基础之上,针对地理大数据的特点,构建了MapGIS DataStore分布式数据库引擎,其集成整合了多种开源分布式数据库和文件系统,分别用来存储和管理关系型数据,切片型数据,实时型数据和非结构化数据,形成针对地理大数据应用场景相关的解决方案。

图1 MapGIS DataStore存储方案


问:对于海量数据的存储和查询请求,MapGIS是如何进行快速查询?

传统关系型数据库在存储海量矢量数据时,只能部署在单个服务器上,无法承受海量数据的存储和查询请求,尤其是对于对象个数超过千万条的复杂空间数据,其性能会急剧下降。PostgreSQL是一个功能强大的开源关系型数据库,其具备矢量点线面的高效存储和查询的的能力,并且可以构建分布式的数据库集群。MapGIS将PostgreSQL集成和融入到MapGIS DataStore中,将其作为海量矢量数据的存储引擎,可实现海量矢量数据的分布式存储,将传统数据库的复杂表进行数据分块分节点,同时可控制每个存储节点的数据量在千万左右,在此基础之上利用空间索引分区技术实现快速查询,最终有效解决传统关系型数据存在的瓶颈问题。

图2 关系型数据存储


问:MapGIS的切片数据存储和读取性能怎么样?能够解决高并发问题吗?

传统关系型数据库存储海量切片数据时,存在硬盘I/O读写瓶颈,另外为了维护数据的一致性,也会牺牲很大的读写效率,从而导致切片数据的并发读取速度无法满足应用需求。MongoDB是一个基于分布式存储的NoSQL型数据库,其介于关系型数据库和非关系型数据库之间。MapGIS集成MongoDB并且融入到MapGIS DataStore中,将其作为切片数据的存储引擎,实现亿级切片数据的存储,可方便的复制迁移以及秒级的并发访问,实现了切片数据的高性能存储和读取,有效解决切片数据的高并发读取瓶颈。

图3 切片型数据存储


问:实时数据的存储和分析存在哪些问题?它和传统的GIS 数据有什么区别?

传统关系型数据库不适用于海量实时数据的存储和分析,主要原因是实时数据具有数据海量、结构单一、存储和交互速度频繁等特征,如何有效实现实时数据的采集、存储和检索是实时数据的难题。实时数据具有持续产生、实时动态更新等多种特点,它需要持续的更新数据库记录、前端应用中也需要实时展示最新状态,而这种更新频率通常是秒级或者是分钟级的,而传统的、静态的GIS数据,可能每半年/一年,或者更长的周期,才会集中大规模的更新一次数据。


问:MapGIS是怎样进行海量数据实时管理的?

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎, Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。MapGIS集成Elasticsearch并且融入到MapGIS DataStore中,将其作为实时数据存储引擎,在实现海量实时数据接入和存储的基础上,整合ElasticSearch并构建了分层索引,实现海量实时数据的管理,并能实时生成聚合图和热度图。

图4 实时型数据存储


问:你们的解决方案可以解决非结构化数据时存在容错性差、性能不足、无法适应海量非结构化数据管理的问题吗?

HDFS是一种分布式文件系统,其是Hadoop生态体系的基石,且与Spark技术无缝结合。MapGIS集成HDFS并且融入到MapGIS DataStore中,将其作为非结构化数据存储引擎,实现图像、音频、视频、办公文档等非结构化数据的存储,使用一致性的哈希算法将数据分发到多个存储节点,通过可配置的副本机制保证数据的可用性,并提供高并发访问能力,有效解决非结构化数据存储的瓶颈难题。

图5 非结构数据存储


问:相比于其他企业的解决方案,MapGIS分布式大数据解决方案有哪些优势?

MapGIS 充分融合IT前沿技术,增加了MapGIS DataStore分布式存储引擎,集成和融合了PostgreSQL、MongoDB、Elasticsearch、HDFS各种数据库,充分支持各种非关系型数据库,适用于多种不同数据的存储和管理,另提供ETL工具、安装部署工具以及一体化管理维护工具,实现各种数据库的一体化安装部署和维护,形成完整的地理大数据存储管理方案

MapGIS分布式大数据解决方案,更简单的安装部署,更强大的功能,同时更便捷的使用操作及用户体验,为我们呈现了至臻至强的GIS大数据解决方案。如果您想了解更多新特性详情,请持续关注我们!

更多精彩

关注公众微信“中地数码MapGIS”,通过底部菜单【微分享>视频培训】即可观看MapGIS培训视频!

通过底部菜单【微分享>大咖PPT】即可获取更多优质PPT资源哦!

有任何MapGIS相关问题,均可直接在官方微信留言咨询,客服工作时间内随时为您答疑。





视频 小程序 ,轻点两下取消赞 在看 ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存