【技术】地理大数据 · 大千世界深度洞察
“世界上80%的信息都与地理空间位置相关”,GIS与大数据的结合催生GIS从一个简单的、基于地理空间的信息管理、统计、分析系统向高级的、善于处理地理大数据并能满足决策者各种需求的智能系统转化。地理大数据除了具备普通大数据的“5V”特征,还具备时空属性,其粒度更细、密度更高、范围更大,如何从地理大数据中挖掘更大价值以服务于国计民生已成为GIS平台攻关制高点!
MapGIS 10.3将GIS与大数据技术结合,基于Hadoop、Spark等分布式计算框架,实现地理大数据的高效存储、分析与可视化表达,全面提升地理大数据能力。
存储引擎性能再提升
数据存储一直是大数据需攻克的难题之一。MapGIS 10.3全空间智能GIS平台在PostgreSQL、ElasticSearch、MongoDB基础上新增HBase存储引擎,构建了基于混合数据库的地理大数据分布式存储产品MapGISDataStore。四大分布式存储引擎适用于亿级空间数据存储和管理。同时也对接多种对象存储:OpenStack Swift,华为FusionStorage S3,阿里云OSS。
MapGIS DataStore能够有效实现各类空间、非空间数据的一体化存储和管理。利用向导快速构建分布式集群环境,提供高可用和高性能的大数据存储方案,为地理大数据分布计算和服务提供有力支撑。同时与MapGIS SDE无缝融合,是MapGIS大数据与云平台的数据基础。
以基于HBase的自然资源数据一体化存储为例:在自然资源领域,要求对某省多个年度的各类土地图斑数据进行存储,并根据业务需求进行高频次更新和空间分析,为空间管控提供依据。其数据规模达到亿级地类图斑、影像及其他非结构数据(含一调、二调及三调地类图斑、基本农田、零星地物、遥感影像等)。其结果实现了含一调、二调及三调地类图斑、基本农田、零星地物等数据共6千多万图斑数据的一体化存储,可满足千万级高并发的操作要求,也适用于后期的高频次更新与空间分析。
二调土地利用地类图斑
影像管理
Hbase管理
矢量大数据空间分析技术再升级
MapGIS 10.3重点提供四大类数据计算分析服务,分别是:矢量大数据,实时大数据,影像大数据,文本大数据计算分析服务。基于这四大类计算分析服务形成了大数据服务器产品MapGIS IGServer-X,并通过大数据计算引擎,集成到MapGIS大数据与云平台中。
矢量大数据空间分析一直是MapGIS 10.3的亮点技术之一。2019年针对矢量大数据空间分析技术持续升级,新增矢量瓦片生产、裁剪图层、融合边界等五种实用的空间分析工具,进一步拓展了矢量大数据分布式计算能力。并且提供数据处理、数据汇总、空间分析、位置查找、模式分析五大类20多种空间矢量大数据分析方法,打破传统单机静态分析模式,创建了新型动态时空分析的应用。
矢量大数据空间分析技术
以大规模高质量矢量瓦片生产为例:某省在实际应用场景需求中,要求千万级自然资源数据快速展示,并且支持多样式渲染及查询统计且数据规模达960万图斑。目前数据基本都以矢量瓦片形式展示,但是针对千万级大数据进行化简抽稀时会有明显的数据丢失和空洞,这种情况很难在实际项目中进行应用。目前通用的解决方案是矢量瓦片在生产过程中考虑拓扑关系,但是考虑了拓扑关系之后,其数据量会有明显的提升,矢量瓦片的生产周期会明显增长。MapGIS 10.3采用基于Spark的大规模的矢量瓦片生产,提供顾及拓扑关系同时没有空洞的高质量矢量瓦片,满足实际项目应用需求,同时不延长生产周期。
大数据可视化表达新效果
MapGIS 10.3集成Leaflet、MapBoxGL、MapV、EchartGL和D3等多种大数据可视化引擎,提供多样化的表达方式,支持炫酷、动态和直观的可视化展示效果,例如热力图、散点图、聚类图、密度图、蜂窝图和时空立方体等多种可视化表达方式。通过大数据分级渲染技术和多样式矢量瓦片渲染技术有效提升大数据渲染能力。2019年新增多种新的大数据表达样式,强化了时空数据多样化表达效果。
大数据多样式表达
MapGIS 10.3新增集成可视化搭建技术,构建了可视化搭建平台,通过集成多种可视化引擎,实现可视化框架搭建。提供多种可视化搭建工具,用户无需编程,只需要通过简单的拖拽,即可创造出所见即所得的专业可视化应用。
集成可视化搭建技术
以自然资源领域为例:经过十几年的积累,自然资源业务领域积累了近PB级数据,而目前这些数据仍处于管、看的阶段,如何将其更深入应用、发挥其价值及辅助领导决策成为迫切需要解决的问题。MapGIS自然资源大数据与决策平台基于可视化搭建技术,提供图形化设计页面,采用网格化布局方式,使用鼠标拖拽,即可完成大屏布局。同时提供可视化的大屏样式和数据配置界面,通过简单的配置,即可搭建效果惊艳、数据丰富的大屏应用。无需编程就能轻松搭建数据大屏。为满足各个行业大屏展示对基础数据统计、基本图表文字表达、甚至对于专业级的GIS二三维应用展现等应用需求,产品集成了大量的模板库、资源库,并借助MapGIS 10.3强大的GIS技术支撑,提供了丰富的二三维数据、展示特效,真正做到开箱即用,按需选择。
集成表格和空间分析,快捷高效的资源管理
联动、响应式的地图与图表
多样化的二三维特效表达
高效灵活的二次开发接口
自然资源大数据与决策支持平台搭建效果
安全认证、国产化产品
“国产化”作为时代热词,也是现代软件发展的必然要求。“安全、自主、可控”是关键,唯有掌握自主核心技术、与众多合作伙伴携手创新、深度融合,突破技术壁垒才能打造令国家自豪的民族软件。MapGIS 10.3研发跨平台GIS内核核心算法,支持中标麒麟、优麒麟、银河麒麟等ARM64架构的服务器环境,自主可控。与华为FusionInsight HD等国产化大数据平台无缝对接,基于kerberos双向、可传递信任的高效认证访问控制,保障整个存储计算分析环境的安全性。
大数据作为信息化时代的血液,流淌在各个行业、领域之中。MapGIS 10.3全空间智能GIS平台致力于不断创新提升,从地理大数据的存储、分布式计算、高性能服务、可视化、自主安全可控五个视角,洞察祖国山河之壮丽、大千世界之美好!
end
社群交流 / 原创投稿 / 商务合作
来源:中地数码MapGIS
推荐阅读
【开学季】武汉大学“最奢侈测绘基础课” 6个院士坚持了20年,只为回答这一个问题
【珍藏】47个快捷键、50个CAD技巧,终于知道为什么别人用CAD总比我快了!
推荐关注
↓↓↓点击下方“阅读原文”查看更多精彩内容...