极简主义：大数据GIS操作新升级

为了应对空间大数据以及海量经典空间数据的高效存储、管理和分析，超图深度融合大数据IT技术，研发了HBase和DSF等分布式空间数据引擎，实现了大体量数据的高性能分布式存储。为了进一步降低分布式数据相关操作的使用门槛，超图在SuperMap GIS 10i中提供了便捷的分布式数据管理与制图功能，简化了数据入库、管理、制图、服务发布等各环节的操作过程。

大数据GIS工作流程

多种数据入库方式

大规模空间数据分布式管理与制图的第一步，就是将数据导入到分布式存储系统，如HBase和HDFS中，下文将这一过程简称为数据入库。在SuperMap GIS 10i中，超图提供了4种分布式数据入库方式。

● 程序API与服务接口

基于程序API与服务接口编写入库代码，可以将程序处理的结果数据直接导入分布式数据库中。这种方式常用于用户在基于SuperMap iObjects for Spark组件编程实现空间数据处理与分析后，对结果数据进行保存的场景。

● 命令行工具(Tools)

基于SuperMap iObjects for Spark 10i的大数据工具，通过raster-ingest等命令执行数据入库操作，适用于远程操作无图形界面的Linux系统的机器进行数据导入的情况，只需在命令行窗口键入对应的数据入库命令及相关参数即可。

命令行工具

● SuperMap iDesktopX简易模式

SuperMap iDesktopX 10i提供了一种简易的数据入库方式，支持将多种格式的矢量空间数据导入到HBase数据源中。这种方式通过工作空间管理器中HBase数据源的右键菜单完成数据入库操作，为单线程执行，适用于数据量较小的情况。

简易模式导入数据集

● SuperMap iDesktopX大数据工具

在现实应用场景中，测绘、国土等行业的数据体量大，单线程的简易模式无法满足数据入库的性能要求。这种情况下，可通过SuperMap iDesktopX提供的大数据工具完成数据入库，其基于Spark分布式计算框架，在单机模式下可利用本机的多核计算资源，配置集群后可以调用多节点的计算资源进行数据导入，大大缩短数据的入库时间。经过用户现场测试，四千万确权地块数据导入到分布式空间文件引擎(DSF)中耗时仅需九分钟，并且耗时还能随着Spark计算节点的增加呈现明显减少的趋势。

大数据工具

高效的数据管理

完成数据导入后，为了更好地支撑分布式数据的管理操作，SuperMap iDesktopX 10i进一步提供了分布式数据的查看功能，例如：查看分布式数据的一些基本信息，包括：数据连接信息、空间参考、记录数等元信息，以及数据集的表结构和属性值。

分布式数据的基本信息查看

另外，数据查询检索也是分布式数据管理的一个重要方面，SuperMap iDesktopX 10i中提供了高效的空间、属性关联查询的能力，在CQL查询对话框快速构建查询语句，完成查询操作。

包含空间查询条件(DWITHIN)与属性查询条件的CQL表达式

SuperMap iDesktopX 10i还支持在地图中直接加载分布式数据。为了保证海量空间数据的显示效率，SuperMap iDesktopX 10i通过金字塔和多线程渲染的技术方案，有力支撑了大规模数据在小比例尺乃至全幅显示的性能。使用SuperMap iDesktopX 10i中的大数据工具进行数据导入时，可以为矢量数据创建金字塔，也可以通过专门的工具为已有的HBase数据创建矢量金字塔。

千万级地类图斑高性能浏览

便捷的地图制图

“一图胜过千言万语”，地图是GIS数据以及数据处理与分析结果最直观的展示方式。SuperMap iDesktopX 10i全面支持分布式数据制图，包括：图层符号化、专题图制作等，并且支持加载风格模板进行配图，方便已有地图成果复用于分布式数据。最典型的应用就是，大体量的国土行业地类图斑数据导入到分布式存储系统后，直接加载原来的地类图斑专题图模板，快速获得分布式改造后的土地利用专题图。

分布式数据应用专题图模板效果

SuperMap iDesktopX 10i不仅具备分布式矢量数据的制图能力，也提供了实用的分布式栅格和影像数据的制图功能，例如影像数据的多波段组合显示、栅格数据颜色表显示等，还支持应用栅格函数，解决了在海量数据情况下，制作山体阴影、坡度、坡向图等地图的效率问题。

分布式数据栅格制图效果

直接发布地图服务

SuperMap iDesktopX 10i支持直接发布工作空间来发布前面配置好的地图，并在高性能的免切片分布式渲染技术的支撑下，实现了大规模数据地图免切片发布为iServer地图服务，在客户端也能达到亿级数据量的秒级响应效率。

亿级数据浏览

总结

SuperMap GIS 10i从GIS数据应用的全流程角度出发，为用户提供了便捷、高效的分布式数据的存储、管理、制图的应用工具，满足了用户多种场景下的数据入库需求，也为数据管理人员提供了更加易用、界面友好的数据管理交互平台，大大提升了用户体验和工作效率。

撰文 | 大数据与AI研发中心 李卓慕

【相关阅读】

▼

欢迎转载~

爱看你就点在看!