高性能GIS研究进展及评述
来源：《地球信息科学学报》2017年第4卷
作者：左尧， 王少华， 钟耳顺，蔡文文
摘要：互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。
关键词：高性能GIS; 高性能GIS算法; 并行GIS计算; 内存计算; 众核计算; GIS云计算;
1 、引言
互联网时代来临,使地理信息技术得到前所未有的应用、推广和发展,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。随着计算机技术的发展,以分布式、并行化为代表的高性能计算技术正逐渐融入到地理信息领域,如何利用高性能计算的新型硬件体系结构带来的计算性能提升,解决现有时空数据密集、计算密集和通讯密集问题成为GIS领域的热点问题[1-4]。为此,基于并行集群计算技术等的高性能计算[5-9],研究新一代高性能GIS系统十分重要。它可以有效地为时空大数据集存储、可视化、空间分析和数据服务带来新的解决方案。
高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术[10-12]。而高性能GIS则利用高性能计算的理论体系、技术架构和数据模型等对GIS已有的性能进行扩充和增强,从而方便、快捷地实现海量空间数据的高性能读写,使GIS系统更高效地为地理空间信息科学领域中的计算、数据、通信密集型的科学问题的解决提供技术支撑[13-17]。其高性能表现在：更庞杂的地理空间数据计算,更复杂、多类型的GIS模型与算法,处理时间更短[18-21]。
目前,主流的3大分布式计算系统包括Hadoop,Spark和Storm[22-25]。Hadoop基于MapReduce分布式计算框架,其核心技术在于通过分布式架构实现性能提升。而GIS空间分析常常需要对研究区进行空间划分,进一步细划为地貌特征更加统一的计算单元,利用Hadoop的分布式特性及MapReduce分布式存储,可极大地提高GIS空间分析性 能[26-27]。但由于存储硬件条件的限制,在处理更新快速的GIS模型时,则稍显不足。Spark是另一种重要的分布式计算系 31 46922 31 14939 0 0 1275 0 0:00:36 0:00:11 0:00:25 3620统,它基于分布式存储集(RDD)的概念,利用计算机内存来存储数据,因而具有更快速的数据读写功能[28]。相比于Hadoop,Spark的优势在于仅需导入一次数据即可实现多次迭代运算,具有更快的运行效率;缺点在于不适合处理需要长时间保存的数据,如果计算环境发生电力中断故障,即会造成数据丢失。Storm并不直接收集数据,而是通过网络节点实现数据传输、处理。其优势在于处理流式数据时,无需进行数据收集和作业调度,而可以直接进行分析,更适应在线的实时GIS大数据处理[29-30]。
2 、研究现状
当前GIS发展的重要趋势是服务化、云端一体化,亟待研发高效的高性能GIS关键技术[31-32]。其中,分布式并行技术的应用显著提高了GIS空间分析效率,随着内存计算、高性能算法等先进技术的不断进步,大大加速了高性能GIS技术体系的发 展[33-34]。此外,二三维一体化也是当前GIS发展的一大趋势。随着硬件成本降低,显卡性能提升,众核技术的应用加速了三维GIS的发展[35-36]。因此,本研究将主要从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面对高性能GIS的发展进行总结和归纳(图1)。
图1 高性能GIS研究内容
2.1 高性能GIS算法
高性能技术出现不久,就开始应用于地理信息领域[37-39]。作为高性能并行GIS系统中的一个重要的组成部分,高性能GIS算法基于利用向量机和并行计算技术形成的高性能计算系统,对海量地理空间数据进行实时处理的空间算法,使原本难以计算的全球尺度、长时间尺度的地理空间现象分析模拟得以实现。已有许多学者开始了相关技术研究,如Turton等[40]研究了职工上下班交通数据分析,原本在工作站需要运行91 h的双约束地理计算模型,在内存共享模型中执行并行计算后仅需3 min,极大地提高了效率。
随着IT技术的不断进步,高性能GIS算法的研究主要分为2个方面：① 对已存在的高密度计算进行并行化处理,利用高性能GIS技术对全局性的海量时空数据进行地学分析和推演,探索构建新的空间模型等;② 探索新的空间分析方法,并不断赋予新的内涵。具有代表性的空间分析算法有：神经网络模型、遗传算法模型、元胞自动机模型等[41-45]。这2个方面各有侧重,前者侧重于从技术层级提供计算行的优化处理,提升运行效率;后者则通过模型、算法,进一步寻找更加高效、便捷的空间分析方法,通过专业地理信息领域模型达到提高分析效率的目的。
以往,高性能计算常常需要一台高CPU、大容量的计算机完成大量计算,这样势必繁琐。近年来,研究人员开始基于一组或几组计算机组成的高性能计算机集群,计算机之间通过网络进行连接,对海量GIS数据进行并行处理和高性能计算,增加了部署的灵活性。基于MapReduce计算架构的Hadoop有简洁的并行计算模型,可对原本串行算法进行快速改造,以适应并行计算等高性能算法[46-47]。目前,这方面研究主要集中在GIS空间分析算法上。例如,Cary等[48]基于MapReduce实现了部分GIS算法,并构建了R树;Chen等[49]基于Hadoop研究设计实现了高性能地理计算框架。这些研究方法为进一步开展高性能算法研究提供了参考。
在并行空间数据结构组织方面,高效的空间数据划分策略有助于合理的空间数据组织存储,可大大提升空间分析的性能。
(1)栅格数据并行计算
栅格数据具有独特的“块状”数据结构,栅格运算常常基于矩阵运算,这样的运算往往具有很好的局部独立性,有利于高性能GIS并行化处理[50]。基于栅格数据空间特征对其在空间上进行划分,并行空间处理,可显著提高栅格运算效率[51-52]。
目前,大多数研究集中于空间范围划分和非均匀划分算法研究[53-55]。综合来看,主要分为静态和动态2种划分策略,基于空间数据位置特征,而对GIS数据在空间上进行划分、切割。但当待处理栅格数据的空间特征比较复杂多种,仅仅通过简单的划分并不能满足精细化处理需求。已有的一些研究方法对这种复杂地形划分进行了研究：程果等[56]通过逐步动态分析算法对复杂栅格数据分组计算,构建了动态推进划分算法;欧阳柳[57]研究了基于空间填充曲线模型的数据划分方法,在考虑了空间数据特征的基础上较好地进行负载均衡。尽管这些研究和方法没有达到十分理想的负载均衡效果,但都较好地为栅格数据多种划分策略提供了参考。
(2)矢量数据并行计算
作为地理空间对象的另一种重要的存储格式,矢量数据结构存在空间数据明显、属性数据隐藏的特征。由于数据结构的特殊性以及地理实体的条带化、拓扑等特性,并非所有的矢量数据都适合进行并行处理[58]。而且,由于矢量数据耦合度高、数据连续,这些都加大了矢量数据并行处理的难度[59]。
同样,矢量数据的划分策略包括动态和静态2种。静态划分策略,是基于一定数据属性规则进行一定规律的划分,而动态划分策略则通过调用空闲进程实时分配来实现负载平衡[60]。通过进一步考虑空间位置、邻近性等方面,实现最佳的均衡存储。目前主要还是采用传统静态方法,如田光[60]从并行空间运算的需求出发,放弃了传统的数目均衡,分别研究了基于空间聚集的和基于统计聚类的划分策略。
空间索引方面,早期大多研究采用串行空间索引机制,如四叉树索引[61-62]、格网索引[63]等。随着时空数据的种类和数量不断增加,并行的空间索引机制逐渐发展起来,主要,有基于共享存储模型和消息传递模型的2种并行索引机制。它们均通过采用适用的优化策略来提高数据处理效率,且针对特定的硬件环境的空间数据处理及流处理器模型使 用[64]。例如,Papadias等[65]研究了适用于共享虚拟内存的并行空间连接算法;邓亚丹等[66]基于多核处理器技术实现了数据库的优化查询技术。其中,关键技术有地图匹配技术,讲轨迹数据与地图数据进行关联,从而具有实际的地理意义,目前较为成熟的算法有ST-Matching等。
此外,大数据的一个重要组成部分是位置大数据,包括各种地理数据、车辆轨迹数据、时空多媒体数据等,其处理流程包括数据采集、数据分析、计算等。降维分析通过对大量的道路交通数据进行降维,提取更加有意义的数据。其主要包括空间上和时间上的降维：空间降维指的是提取更加关键的节点和线要素;时间降维指的是对时间的离散化,提取关键时段数据。在运行计算方法时,同样需要利用Hadoop、Spark等高性能计算框架,建议轨迹数据的高效时空索引模型和分布式计算,以及高效的数据存储技术。位置大数据不仅指交通数据分析,还包括人类活动规律、地理国情和智慧城市等,需要打开思路进行分析,提供更有价值的信息。
2.2 并行GIS计算
并行计算是一种运行于高性能并行计算机上的超级计算方式。并行计算中的计算节点通过网络连接,从而实现数据传输及计算效率的并行加 速[67]。而并行GIS技术将并行计算技术应用于海量空间数据的并行存储、查询、检索及处理等,为建立响应速度快、运行效率高的软件系统来提供海量空间地理数据的处理能力。以高性能并行集群计算技术和算法相结合的新一代多核并行高性能已经成为了研究的热点[68-70]。
在地理计算模型/框架方面,作为地理现象分析与过程模拟的一个模型运行环境,它使用统一的数据接口、模型标准以及通用工具,从而提高模型运算效率、模型间的互操作性、模拟性能等。目前,较流行的并行计算模型有高性能计算MPI、Map/Reduce、Dryad等。国内目前尚无成熟的地理计算系统或框架,且很少用于地理计算。从硬件架构来分,可以大致分为3种典型的模型：共享存储模型(如OpenMP、Pthread、X3H5)、消息传递模型(如MPI、OpenMPI)和流处理器模型(如CUDA、Brook+、OpenCL)。
(1)共享存储模型
共享存储模型通过分享同一片存储地址进行数据存取,对分散于多个线程中的子任务进行同时计算[32]。典型的编程工具包括OpenMP、TBB和Cilk等。例如,基于OpenMP可实现对并行算法的抽象描述,通过在源码中加入pragma编译器即可实现,适合处理轻量的并行计算任务。
(2)消息传递模型
不同于共享存储模型,在消息传递模型中,并行计算任务被划分到多个相互独立的进程节点中,进程节点通过消息传递的方式实现数据通信[71],如MPI(Message Passing InterFace)、OpenMPI等,其中典型代表的是MPI。消息传递模型适合处理海量数据和计算量比较大的并行计算任务[61]。
(3)流处理器模型
流处理器模型是针对现代显卡工作模式提出的一种抽象表达。由于单个处理器的计算能力较低,通过增加处理器的数量并优化计算,可明显提高GPU的处理效率[72]。目前,最流行的是CUDA,由NVIDIA编写,可看成是一个并行编程模型,直接于GPU上进行计算。
综合来看,3种模型各有优缺点：共享存储模型通过共享存储地址实现多任务的并行计算;消息传递模型则通过进程节点间的相互通信实现并行计算;流处理模型则通过增加处理器数量实现计算优化。
2.3 高性能内存计算
近年来,内存计算技术的发展为高性能地理计算问题带来了解决方案,并在大数据分析和数据挖掘领域成为研究热点。高性能内存计算利用各个计算节点上的存储空间形成一体的分布式内存空间,并将访问次数较多的文件缓存至该区域,通过规范的文件接口进行访问,从而降低计算任务的读写开销和延时,加强负载均衡,提高运行效率[5]。与传统数据仓储技术相比,内存计算技术在即时分析方面有更高的灵活性和更强的运算性能[14]。当处理海量数据时,高效的内存计算可以大大地提升系统的数据处理能力和运算效率。此外,64位GIS高性能计算拥有更大的带宽,而且突破了内存容量的限制,带来了更大的性能提升。目前,国内已有的SuperMap系列软件采用64位高性能计算,充分发挥云计算中心高配置服务器计算资源,在多边形拓扑的同一项测试中比32位技术速度快了一倍[73]。
高性能内存技术发展至今,综合来看,主要分为3类：分布式缓存计算、计算网络、分布式内存数据库系统。分布式缓存计算通过将访问频率较高的数据存放于内存之中,从而提高访问效率。多数技术基于内存键值存储,支持get和set方法。同时,分布式缓存计算还具有高动态扩展性,通过增减内存节点数获取最佳性能[52,54]。常见的分布式缓存计算系统有Memcached、Redis,此外还有一些新的技术,如ACID事务处理、eviction策略[68,70]。计算网络技术则将数据发送至本地执行,并不适合处理不断增长的海量数据。分布式内存数据库系统的出现大大增强了基于MapReduce的海量数据并行处理的能力,而且利用分布式SQL等工具,可以较好地处理较复杂的数据。
2.4 众核计算
众核计算是指在处理器中集成成百上千个计算引擎内核,它们可以独立运行计算机命令,并基于并行计算执行多任务处理操作,从而使性能大幅提升。随着技术的发展,统一计算设备架构CUDA技术的出现,使GPU计算用于通用计算。由于GPU在带宽和访问频率方面均很高,因此其访问显存效率明显高于CPU访问内存的速率。在处理像元重复访问较多的遥感影像数据时,基于GPU技术可快速实现影像的可视化和分析处理。
在存储器组织方面,GPU采用多级访问策略。在使用CUDA处理海量空间数据时,可以从全局和局部2个方面出发,运算较为复杂时,可不采用共享存储而是在全局存储进行运算分析;而对于简单计算,从局部计算出发则更便捷,将一个块存储数据组织到共享存储中,然后再进行访问。
此外,GPU计算还可用于组织空间索引策略。近年来,国内外学者在利用GPU加速数据索引方面开展了大量研究。Zhang等[68]基于GPU计算对大规模点数据进行并行处理,并提出了CSPT-P 树索引结构。Luo等[74]利用GPU加速实现R树批量加载操作。此外,针对R树接近根结点时检索并行度低等问题,Kim[75]通过SMP算法并行执行搜索子树实现了查询策略优化。
3 、评述与讨论
目前,基于并行计算、分布式存储和内存计算等高性能理论与技术形成的高性能GIS系统,对已有GIS系统的性能进行了扩展和加强,实现了海量空间数据的高性能读写,为地理空间现象分析、地理科学应用提供了帮助[64]。
高性能算法研究方面,已经实现了在普通计算机系统中研究实现海量数据的并行处理框架系统和高性能计算,降低了高性能计算成本,而且提出了简洁的并行计算模型,大大简化了运行过程。然而,空间计算任务调度应用研究大多集中于矢量数据并行研究。在未来,应当针对地理空间栅格数据的处理算法,在构建计算强度估计方程时,考虑科学的栅格数据的矩阵结构和栅格处理类算法的遍历方程,减轻计算强度消耗时间所带来的负担。
索引机制方面,随着分布式计算系统的发展,应当进一步研发更高效的分布式索引方法。当前主流的分布式算法是在传统的索引算法的基础上改进的并行算法,如SR-树索引生成算法、基于索引节点拷贝的Fat-B树、DPB+Tree等[17-20]。这些算法大多集中于数据的安全性实现,如数据节点之间的数据拷贝防止数据的丢失[21]。在未来,应当更加关注分布式索引算法的开销、冗余控制等,以及对于平台的独立性,将算法的主要功能集中于提高数据索引性能的提高方面。
并行计算方面,并行GIS技术已经广泛应用于海量空间数据的并行存储、查询、检索及处理等方面。服务器集群系统通过网络连接节点而组成分布式系统进行集群计算。较为流行的Hadoop分布式系统,是基于MapReduce分布式计算框架、HDFS分布式文件系统和HBase数据存储系统。而Spark在系统架构设计方面进行了一些改进,通过内存来存储数据可提供更快的运算速度。Storm用于处理高速、大型数据流,它在Hadoop的基础上添加了实时数据处理功能,是一种分布式实时计算系统,可直接通过网络节点实时读写数据。针对具体不同的GIS应用,应当选择合适的分布式计算系统。
内存计算方面,随着技术的发展,主要包括基于单独内存计算和分布式内存计算等,分布式内存代表包括Spark等计算方式。大多数技术基于内存键值存储,具有高动态扩展性,可通过改变内存节点的数量获取最佳性能。计算网络计算方式则在处理不断增长的海量数据方面处于劣势。分布式内存数据库系统在数据处理复杂度不断增加的情况下,仍有较好的表现[10-12,19]。
空间数据存储方面,目前空间数据的存储主要包括：传统的关系型数据库、非关系型数据库,以及分布式文件系统。面对新型海量数据,传统的关系型数据库往往计算性能低下,且拓展困难[67],而新一代存储系统(如Ceph、Swift、 MongoDB等)为空间数据的组织、管理提供了新的思路。科研、科技界均作了许多探索,陈崇成,林剑峰等[41]通过引入分布式图数据库和并行图计算框架,基于矢量、栅格数据一体化系统,实现海量空间数据的分布式管理与访问。Google提出了一种采用灵活自由、高可用、结构松散的分布式数据库管理系统,结合GFS和MapReduce实现了海量栅格数据的云存储、管理[5,67]。
4 、展望
纵观国内外高性能GIS研究现状及其进展不难发现,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向。面对海量时空GIS大数据,以高性能GIS算法、并行GIS计算、高性能内存计算和众核计算为代表的高性能GIS在解决时空数据密集、计算密集和网络通讯密集等问题方面提供了解决方案,提升了GIS地理分析的效率。
目前,在空间信息科学领域中,并行计算技术和方法的研究主要包括矢量、栅格数据的并行处理、高性能和高可用GIS研究等。研究重点仍集中于影像数据的并行处理上,而针对矢量数据并行存取和处理的研究成果相对较少。在计算模式方面已经涌现了较为新颖的GIScript等[73],可支持Hadoop、Spark和Storm等分布式计算系统。
在数据存储方面,并行空间数据库的引入将突破文件系统的限制,为并行GIS提供功能更强大的数据管理平台。众所周知,空间数据存储是GIS系统的基础,现有的GIS系统大多基于文件型的空间数据存储系统。今后应当进一步思考将并行GIS中关键算法同并行空间数据库的设计有机地融合在一起,面向新的应用领域(网络分布式空间信息服务)和新的计算 框架(CyberGIS)形成较为完备的高性能并行GIS研究体系[31,76-78],从而为解决新的问题提供支持和帮助。
硬件方面,计算机性能计算从单核发展到多核,由单处理器发展到多处理器,并且成本越来越低,提供了强大的计算能力,未来多核CPU计算将是一个重要的发展趋势。此外,GPU技术的发展为高性能计算带来了新的进步[74-75,79],但目前的问题是软件技术并不能很好地适应硬件的发展,未来随着GPU技术的进一步发展,软件开发环境的发展必须加大研发力度,实现软硬件结合的高性能计算。
随着近年来互联网、云计算、移动技术和物联网的迅猛发展,GIS云计算和大数据技术逐渐成为热门。在云计算方面,国内外GIS平台厂商纷纷推出了自有的云GIS平台,如ESRI推出的ArcGIS 10.4版本采用云+端的方式,国内SuperMap开发的SuperMap 8C,支持虚拟化的GIS等。云GIS技术,并非只是将现有的GIS平台移植到云平台而已,还需要具备支持跨平台、并行计算、64位计算、分布式系统等技术[80-82]。此外,数据中心的虚拟化逐渐成为研究热点,具体包括网络、服务器、存储等的虚拟化技术[83]。时空大数据处理技术方面,面对日益增长的时空大数据,传统的数据处理技术已经捉襟见肘,一些新技术的出现带来了新的发展,如分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等[84-89]。
开源GIS技术,由于不用过分考虑数据兼容性、易用性等问题,开发者可集中精力于软件功能研发,因此开源GIS往往拥有强劲的性能和功能,并涌现出大量各平台各类型的开源GIS软件。例如,开源桌面GIS方面,有QGIS、GRASS GIS、SuperMap iDesktop Cross等;开源技术和工具,有GIS Tools for Hadoop、SpatialHadoop、PySAL、GeoWave和GeoSpark等。开源和互操作是高性能GIS重要的发展方向之一,开源GIS必然集开放、标准与互操作于一体,提供高性能GIS软件服务。
参考文献：
[1]Brady D.Designing GIS for high availability and high performance[C]. International Conference/exhibition on High PERFORMANCE Computing in the Asia-Pacific Region, 2000. Proceedings, 2000:423-431.[本文引用:1]
[2]Aji A, Wang F, Vo H, et al.Hadoop-GIS: A high performance spatial data warehousing system over mapReduce[J]. Proceedings of the Vldb Endowment, 2013,6(11):1009-1020. DOI:10.14778/2536222.2536227 PMID:3814183 [本文引用:0]
[3]Wang F, Aji A, Vo H.High performance spatial queries for spatial big data: From medical imaging to GIS[J]. Sigspatial Special, 2015,6(3):11-18. DOI:10.1145/2766196.2766199 [本文引用:0]
[4]Yang C W, Huang Q Y, Li Z, et al.Big Data and cloud computing: innovation opportunities and challenges[J]. International Journal of Digital Earth, 2017,10(1):13-53.
[本文引用:1] [JCR: 2.292]
[5]Corbett J C, Dean J, Epstein M, et al.Spanner: Google's globally-distributed database[J]. International Conference on Data Engineering Icde, 2013,31(3):251-264. DOI:10.1145/2491245 [本文引用:3]
[6]Kindratenko V, Trancoso P.Trends in high-performance computing[J]. Computing in Science & Engineering, 2011,13(3):92-95.[本文引用:0]
[7]Clarke K C.A general-purpose parallel raster processing programming library test application using a geographic cellular automata model[J]. International Journal of Geographical Information Science, 2010,24(5):695-722. DOI:10.1080/13658810902984228 [本文引用:0] [JCR: 2.502]
[8]李绍俊,王尔琪. SuperMap高性能海量空间数据管理策略[C].2009中国地理信息产业论坛,2010.[本文引用:0]
[Li S J, Wang E Q.SuperMap high performance massive spatial data management strategy[C]. China Geographic Information Industry Forum, 2010. ]
[9]王结臣,王豹,胡玮,等.并行空间分析算法研究进展及评述[J].地理与地理信息科学,2011,27(6):1-5. [本文引用:1] [CJCR: 0.972]
[Wang J C, Wang B, Hu W, et al.Review on parallel spatial analysis algorithms[J]. Geography and Geo-Information Science, 2011,27(6):1-5. ]
[10]Chen L, Agrawal G.Optimizing mapReduce for GPUs with effective shared memory usage[C]// hgpu.org, 2012:199-210.[本文引用:2]
[11]Beckmann N, Kriegel H. P, Schneider R and Seeger B. 1990. The R-tree: an efficient and robust access method for points and rectangles[J]. Acm Sigmod Record, 2010,19(2):322-331.[本文引用:0]
[12]Rizzo S, Vantini G.GOAL: The Challenge of High-Performance in GIS[C]// Sistemi Evoluti per Basi di Dati. 1995.[本文引用:2]
[13]Sansrimahachai W, Chalermwat P.An implementation of high performance web-based GIS on parallel cluster using MPI[C]// International Conference on Parallel and Distributed Processing Techniques and Applications, Pdpta 2005, Las Vegas, Nevada, Usa, June 27-30. DBLP, 2005:284-289.[本文引用:1]
[14]Shi X.High performance computing: fundamental research challenges in service oriented GIS[C]// Proceedings of the ACM SIGSPATIAL International Workshop on High Performance and Distributed Geographic Information Systems. ACM, 2010:31-34.[本文引用:1]
[15]Sorokine A.Implementation of a parallel high-performance visualization technique in GRASS GIS[J]. Computers & Geosciences, 2007,33(5):685-695. DOI:10.1016/j.cageo.2006.09.008 [本文引用:0] [JCR: 1.755]
[16]Stojanovic N, Stojanovic D.High-performance computing in GIS: techniques and applications[J]. International Journal of Reasoning, 2013,5(1):42-49. DOI:10.1504/IJRIS.2013.055126 [本文引用:0] [JCR: 2.845]
[17]Dean J, Ghemawat S.MapReduce: Simplified data processing on large clusters[J]. Communications of the Acm, 2008,51(1):107-113.[本文引用:2] [JCR: 4.027]
[18]王少华. 超图平台软件创新:SuperMap GIS高性能GIS技术简介[J].地球信息科学学报, 2016,18(5):718-718. ] [本文引用:1] [CJCR: 0.946]
[19]Kalantari M.Spatial cloud computing: A practical approach[J]. Spatial Science, 2015,60(1):197-198. DOI:10.1080/14498596.2015.1011588 [本文引用:1] [JCR: 0.735]
[20]Dai C, Yang J.Research on orthorectification of remote sensing images using GPU-CPU cooperative processing[C]// International Symposium on Image and Data Fusion. IEEE, 2011:1-4.[本文引用:1]
[21]Ding Y M, Densham P J.Spatial strategies for parallel spatial modelling[J]. International Journal of Geographical Information Science, 1996,10(6):669-698. DOI:10.1080/02693799608902104 [本文引用:2] [JCR: 2.502]
[22]Eldawy A, Mokbel M F.SpatialHadoop: A mapReduce framework for spatial data[C]// IEEE, International Conference on Data Engineering. IEEE, 2016:1352-1363.[本文引用:1]
[23]Eldawy A, Mokbel M F.A demonstration of SpatialHadoop: An efficient mapreduce framework for spatial data[J]. Proceedings of the Vldb Endowment, 2013,6(12):1230-1233. DOI:10.14778/2536274.2536283 [本文引用:0]
[24]Eldawy A, Mokbel M F.HadoopViz: A mapReduce framework for extensible visualization of big spatial data[C]// IEEE, International Conference on Data Engineering. IEEE, 2016:601-612.[本文引用:0]
[25]常生鹏,马亿旿,蔡立军,等.一种基于Hadoop的高分辨率遥感图像处理方法[J].计算机工程与应用,2015,51(11):167-171. DOI:10.3778/j.issn.1002-8331.1403-0121 [本文引用:1]
[26]李波. 基于Hadoop的海量图象数据管理[D].上海:华东师范大学,2011.[本文引用:1]
[27]林碧英,王艳萍.基于Hadoop的电力地理信息系统数据管理[J].计算机应用,2014,34(10):2806-2811. DOI:10.11772/j.issn.1001-9081.2014.10.2806 [本文引用:1] [CJCR: 0.886]
[Lin B Y, Wang Y P.Data management based on Hadoop for power geographic information system[J]. Journal of Computer Applications, 2014,34(10):2806-2811. ]
[28]Yu J, Wu J, Sarwat M.GeoSpark: A cluster computing framework for processing large-scale spatial data[C]// The Sigspatial International Conference. 2015:1-4.[本文引用:1]
[29]You S, Zhang J, Le G.Large-scale spatial join query processing in Cloud[C]// IEEE International Conference on Data Engineering Workshops. IEEE, 2015:34-41.[本文引用:1]
[30]刘义,陈荦,景宁,等.利用MapReduce进行批量遥感影像瓦片金字塔构建[J].武汉大学学报·信息科学版,2013,38(3):278-282. [本文引用:1]
[31]Wang S.A CyberGIS Framework for the synthesis of cyberinfrastructure, GIS, and spatial analysis[J]. Annals of the Association of American Geographers, 2010,100(3):535-557. DOI:10.1080/00045601003791243 [本文引用:2]
[32]王尔琪,王少华. 未来GIS发展的技术趋势展望[J].测绘通报,2015(S2):66-69. [本文引用:2]
[33]Aji A, Sun X, Vo H, et al.Demonstration of Hadoop-GIS:A spatial data warehousing system over MapReduce[C]// ACM Sigspatial International Conference on Advances in Geographic Information Systems. ACM, 2013:528-531.
[34]赵春宇. 高性能并行GIS中矢量空间数据存取与处理关键技术研究[D].武汉:武汉大学,2006.[本文引用:1] [CJCR: 0.489]
[35]Zhang Y, Mueller F.Auto-generation and auto-tuning of 3D stencil codes on GPU clusters[C]// Proceedings of the Tenth International Symposium on Code Generation and Optimization. ACM, 2012:155-164.[本文引用:1]
[36]杨坤. 可视域分析算法的并行化与容错研究[D].南京:南京师范大学,2014.[本文引用:1]
[37]Zhou Z B, Wang Q, Liang G U, et al.Using ArcGIS REST construct high-performance WebGIS services[J]. Manufacturing Automation, 2010. [本文引用:1] [CJCR: 0.46]
[38]范协裕,任应超,杨崇俊,等.基于集群技术的可伸缩云GIS服务平台研究[J].计算机应用研究,2012,29(10):3736-3739. DOI:10.3969/j.issn.1001-3695.2012.10.034 [本文引用:0] [CJCR: 0.676]
[39]郭菁,郭薇,胡志勇.大型GIS空间数据库的有效索引结构QR-树[J].武汉大学学报·信息科学版,2003,28(3):306-310. DOI:10.3321/j.issn:1671-8860.2003.03.010 [本文引用:1]
[40]Turton I, Openshaw S.High-performance computing and geography: Developments, issues, and case studies[J]. Environment & Planning A, 1998,30(10):1839-1856. DOI:10.1068/a301839 [本文引用:1] [JCR: 1.852][CJCR: 0.057]
[41]陈崇成,林剑峰,吴小竹,等.基于NoSQL的海量空间数据云存储与服务方法[J].地球信息科学学报,2013,15(2):166-174. DOI:10.3724/SP.J.1047.2013.00166 [本文引用:2] [CJCR: 0.946]
[42]陈星雨. 基于OPENGL和GDAL的卫星遥感图像处理系统的研究[D].广州:华南理工大学,2013.[本文引用:0]
[43]肖伟器,冯玉才,缪勇武. 空间对象数据库的网格索引机制[J].计算机学报,1994(10):736-742. [本文引用:0] [CJCR: 2.219]
[44]周海芳,赵进.基于GPU的遥感图像配准并行程序设计与存储优化[J].计算机研究与发展,2012,49(S1):281-286. [本文引用:0] [CJCR: 1.359]
[45]胡树坚,关庆锋,龚君芳,等. pGTIOL:GeoTIFF数据并行I/O库[J].地球信息科学学报,2015,17(5):575-582. DOI:10.3724/SP.J.1047.2015.00575 [本文引用:1] [CJCR: 0.946]
[46]Liu Y, Li M, Alham N K, et al.Load balancing in MapReduce environments for data intensive applications[C]// Eighth International Conference on Fuzzy Systems and Knowledge Discovery. IEEE, 2011:2675-2678.[本文引用:1]
[47]刘小利,徐攀登,朱国宾,等.结合MapReduce和HBase的遥感图像并行分布式查询[J].地理与地理信息科学,2014,30(5):26-28.DOI:10.3969/j.issn.1672-0504.2014.05.006 [本文引用:1] [CJCR: 0.972]
[48]Cary A, Sun Z, Hristidis V, et al.Experiences on processing spatial data with MapReduce[C]// Scientific and Statistical Database Management, International Conference, SSDBM 2009, New Orleans, La, Usa, June 2-4, 2009, Proceedings. DBLP, 2009:302-319.[本文引用:1]
[49]Chen Q, Wang L, Shang Z.MRGIS: A MapReduce-Enabled High Performance Workflow System for GIS[C]// Fourth IEEE International Conference on Escience. IEEE Computer Society, 2008:646-651.[本文引用:1]
[50]周建鑫,陈荦,熊伟,等. 地理栅格数据并行I/O的研究与实现[J].地理信息世界,2013(6):62-65. DOI:10.3969/j.issn.1672-1586.2013.06.018 [本文引用:1] [CJCR: 0.515]
[Zhou J X, Chen L, Xiong W, et al.Study and Implementation of Parallel I/O for Geospatial Raster Data[J]. Geomatics World, 2013,6:62-65. ]
[51]刘磊,尹芳,冯敏,等.基于开源Hadoop的栅格数据分布式处理[J].华中科技大学学报(自然科学版),2013,41(7):103-108. [本文引用:1] [CJCR: 0.726]
[Liu L, Yin F, Feng M, et al.Distributed computation of raster data using open source Hadoop[J]. Journal of Huazhong University of Science and Technology (Nature Science Edition), 2013,41(7):103-108. ]
[52]Yang C, Yu M, Hu F, et al.Utilizing cloud computing to address big geospatial data challenges[J]. Computers Environment & Urban Systems, 2016. DOI:10.1016/j.compenvurbsys.2016.10.010 [本文引用:2] [JCR: 2.092]
[53]王玉着,刘修国,张唯.并行化多流向策略的栅格河网提取算法[J].武汉大学学报·信息科学版,2015,40(12):1646-1652. DOI:10.13203/j.whugis20140645 [本文引用:1]
[Wang Y Z, Liu X G, Zhang W.Raster river networks extraction based on parallel multiple flow direction algorithms[J]. Geomatics and Information Science of Wuhan University, 2015,40(12):1646-1652. ]
[54]Wang S, Armstrong M P.A quadtree approach to domain decomposition for spatial interpolation in grid computing environments[J]. Parallel Computing, 2003,29(10):1481-1504. DOI:10.1016/j.parco.2003.04.003 [本文引用:1] [JCR: 1.362]
[55]Vecchiola C, Pandey S, Buyya R.High-performance cloud computing: A view of scientific applications[C]// International Symposium on Pervasive Systems, Algorithms, and Networks. IEEE Computer Society, 2009:4-16.
[本文引用:1]
[56]程果,陈荦,吴秋云,等.一种面向复杂地理空间栅格数据处理算法并行化的任务调度方法[J].国防科技大学学报,2012,34(6):61-65.DOI:10.3969/j.issn.1001-2486.2012.06.010 [本文引用:1] [CJCR: 0.453]
[Cheng G, Chen L, Wu Q Y, et al, A task scheduling method for parallelization of complicated geospatial raster data processing algorithms[J]. Journal of National University of Defense Technology, 2012,34(6):61-65. ]
[58]Papadopoulos A, Manolopoulos Y.Parallel bulk-loading of spatial data[J]. Parallel Computing, 2003,29(10):1419-1444. DOI:10.1016/j.parco.2003.05.003 [本文引用:1] [JCR: 1.362]
[59]杨伟光,李文.使用MPI的并行I/O实现及性能分析[J].计算机工程与应用,2006,42(17):96-98. DOI:10.3321/j.issn:1002-8331.2006.17.030 [本文引用:1]
[Yang W G, Li W.Implementation of parallel I/O using MPI and its performance analysis[J]. Computer Engineering and Applications, 2006,42(17):96-98. ]
[60]田光. 并行计算环境中矢量空间数据的划分策略研究与实现[D].武汉:中国地质大学(武汉), 2011.
[本文引用:2]
[Tian G.Research and implementation of partition strategy of vector space data in parallel computing environment[D]. Wuhan: China University of Geosciences, 2011. ]
[61]Finkel R A, Bentley J L.Quad trees a data structure for retrieval on composite keys[J]. Acta Informatica, 1974,4(1):1-9.
[本文引用:2]
[62]Jiang Y H, Lai J, Wang T C.Module placement with pre-placed modules using the B*-tree representation[C]// IEEE International Symposium on Circuits and Systems. IEEE, 2001:347-350.
[本文引用:1]
[63]Gargantini I.An effective way to represent quadtrees[J]. Communications of the Acm, 1982,25(12):905-910.DOI:10.1145/358728.358741 [本文引用:1] [JCR: 4.027]
[64]Luo Y, Guo K, Wang D, et al.Hyperspectral remote sensing classification processing parallel computing research based on GPU[C]// International Conference on Computer Science and Electronics Engineering. IEEE, 2012:258-261.
[本文引用:2]
[65]Papadias D, Mamoulis N, Theodoridis Y.Processing and optimization of multiway spatial joins using R-trees[C]// Acm Pods. 1999:44-55.
[本文引用:1]
[66]邓亚丹,景宁,熊伟.基于现代通用处理器的数据库优化综述[J].计算机科学,2009,36(8):17-20. DOI:10.3969/j.issn.1002-137X.2009.08.005 [本文引用:1] [CJCR: 0.945]
[Deng Y D, Jing N, Xiong W.State of the art and future challenge on database algorithm optimization based on modern processor[J]. computer science, 2009,36(8):17-20. ]
[67]Ghemawat S, Gobioff H, Leung S.File and storage systems: The google file system[J]. Acm Symposium on Operating Systems Principles Bolton Landing, 2003,37: 29-43. DOI:10.1145/945445.945450 [本文引用:3]
[68]Zhang J, You S.Speeding up large-scale point-in-polygon test based spatial join on GPUs[C]. ACM Sigspatial International Workshop on Analytics for Big Geospatial Data. ACM, 2012:23-32.
[本文引用:3]
[69]Wang S W, Liu Y.TeraGrid GIScience gateway: Bridging cyber infrastructure and GIScience[J]. International Journal of Geographical Information Science, 2009,23(5):631-656. DOI:10.1080/13658810902754977 [本文引用:0] [JCR: 2.502]
[57]欧阳柳. 地理栅格数据并行访问技术研究与实现[D].长沙:国防科学技术大学,2012.
[本文引用:1]
[Ou Y L.Research and implement on parallel access technology for geographic raster data[D]. National University of Defense Technology, 2012. ]
[70]吴立新,杨宜舟,秦承志,等.面向新型硬件构架的新一代GIS基础并行算法研究[J].地理与地理信息科学,2013,29(4):1-8. DOI:10.7702/dlydlxxkx20130401 [本文引用:2] [CJCR: 0.972]
[Wu L X, Yang Y Z, Qin C Z, et al.On basic geographic parallel algorithms of new generation GIS for new hardware architectures[J]. Geography and Geo-Information Science, 2013,29(4):1-8. ]
[71]刘文闳,熊伟,吴烨,等.空间索引并行批量加载算法研究[J].现代电子技术,2011,34(22):90-94. DOI:10.3969/j.issn.1004-373X.2011.22.027 [本文引用:1] [CJCR: 0.548]
[Liu W M, Xiong W, Wu Y et al. Research on parallel bulk-loading algorithm for spatial index[J]. Modern Electronics Technique, 2011,34(22):90-94. ]
[72]江岭. 基于DEM的流域地形分析并行算法关键技术研究[D].南京:南京师范大学,2014.
[本文引用:1]
[Jiang L.Research on key technologies of parallel algorithm for watershed terrain analysis based on DEM[D].Nanjing: Nanjing Normal University, 2014. ]
[73]黄骞. 面向时空大数据的开放脚本引擎关键技术研究[J].信息技术与标准化,2015(9):7-11. [本文引用:2] [CJCR: 0.295]
[Huang J.Research on key technologies of open script engine for time and space big data[J]. Information Technology & Standardization, 2015,9:7-11. ]
[74]Luo L, Wong M D F, Leong L. Parallel implementation of R-trees on the GPU[C]// Asia and South Pacific Design Automation Conference. IEEE, 2012:353-358.
[本文引用:2]
[75]Kim J, Kim S G, Nam B.Parallel multi-dimensional range query processing with R-trees on GPU[J]. Journal of Parallel & Distributed Computing, 2013,73(8):1195-1207. DOI:10.1016/j.jpdc.2013.03.015 [本文引用:2] [JCR: 1.156]
[76]Wang S W, Armstrong M P.A theoretical approach to the use of cyberinfrastructure in geographical analysis[J]. International Journal of Geographical Information Science, 2009,23(2):169-193. DOI:1 66 46922 66 31323 0 0 2461 0 0:00:19 0:00:12 0:00:07 63430.1080/13658810801918509 [本文引用:1] [JCR: 2.502]
[77]Wright D J, Wang S.The emergence of spatial cyberinfrastructure[J]. Proceedings of the National Academy of Sciences of the United States of America, 2011,108(14):5488. DOI:10.1073/pnas.1103051108 PMID:21467227 [本文引用:0]
[78]Yang C, Raskin R, Goodchild M, et al.Geospatial cyberinfrastructure: Past, present and future[J]. Computers Environment & Urban Systems, 2010,34(4):264-277. DOI:10.1016/j.compenvurbsys.2010.04.001 [本文引用:1] [JCR: 2.092]
[79]康俊锋,杜震洪,刘仁义,等.基于GPU加速的遥感影像金字塔创建算法及其在土地遥感影像管理中的应用[J].浙江大学学报:理学版,2011,38(6):695-700. DOI:10.3785/j.issn.1008-9497.2011.06.017 [本文引用:1]
[Kang J F, Du Z H, Liu R Y, et al.Parallel image resample algorithm based on GPU for land remote sensing data management[J]. Journal of Zhejiang University(Science Edition), 2011,38(6):695-700. ]
[80]Park S J, Choi K H, Park J, et al.A study on spatial analysis using R-based deep learning[J]. International Journal of Software Engineering & Its Applications, 2016,10(5):87-94.
[本文引用:1]
[81]蔡蕾. 地理计算并行处理技术及性能评价模型研究[D].长沙:国防科学技术大学,2011.
[本文引用:0]
[Cai L.Study on parallelized geographic computing technology and performance evaluation models[D].Changsha: National University of Defense Technology, 2011. ]
[82]霍树民. 基于Hadoop的海量影像数据管理关键技术研究[D]. 长沙:国防科学技术大学,2010.
[本文引用:1]
[Huo S M.Research on key technologies of massive image data management based on Hadoop[D].Chagnsha: National University of Defense Technol, 2010. ]
[83]钟耳顺. 地理控制与实况地理学关于GIS发展的思考[J].地球信息科学学报,2013,15(6):783-792. DOI:10.3724/SP.J.1047.2013.00783 [本文引用:1] [CJCR: 0.946]
[Zhong E S.Geocontrol and live geography:Some thoughts on the direction of GIS[J]. Journal of Geo-Information Science, 2013,15(6):783-792. ]
[84]殷兵. 基于Hadoop的分布式遥感图像处理研究[D].上海:华东师范大学,2015.
[本文引用:1]
[Yin B.Research on distributed remote sensing image processing based on Hadoop[D]. Shanghai: East China Normal University, 2015. ]
[85]尹芳,冯敏,诸云强,等.基于开源Hadoop的矢量空间数据分布式处理研究[J].计算机工程与应用,2013,49(16):25-29. [本文引用:0]
[Yin F, Feng M, Chu Y Q, et al.Research on vector spatial data distributed computing using Hadoop projects[J]. Computer Engineering and Applications, 2013,49(16):25-29. ]
[86]张传明,潘懋.基于格网索引的GIS矢量数据拓扑重建研究[J].地理与地理信息科学,2006,22(4):20-24. DOI:10.3969/j.issn.1672-0504.2006.04.005 [本文引用:0] [CJCR: 0.972]
[Zhang C M, Pan M.A study on topological reconstruction of GIS vector data based on grid index[J]. Geography and Geo-Information Science, 2006,22(4):20-24. ]
[87]张明波,陆锋,申排伟,等. R树家族的演变和发展[J].计算机学报,2005,28(3):289-300. DOI:10.3321/j.issn:0254-4164.2005.03.001 [本文引用:0] [CJCR: 2.219]
[Zhang M B, Lu F, Shen P W, et al.The evolvement and progress of R-Tree family[J]. Chinese Journal of Computers, 2005,28(3):289-300. ]
[88]张凯,秦勃,刘其成.基于GPU-Hadoop的并行计算框架研究与实现[J].计算机应用研究, 2014,31(8):2548-2550. ] DOI:10.3969/j.issn.1001-3695.2014.08.076 [本文引用:0] [CJCR: 0.676]
[Zhang K, Qin B, Liu Q C. Study of parallel computing framework based on GPU-Hadoop[J]. Application Research of Computers. 2014,31(8):2548-2550. ]
[89]赵园春,李成名,赵春宇.基于R树的分布式并行空间索引机制研究[J].地理与地理信息科学,2007,23(6):38-41. DOI:10.3969/j.issn.1672-0504.2007.06.009 [本文引用:1] [CJCR: 0.972]
[Zhao Y C, Li C M, Zhao C Y.Research on the distributed parallel spatial indexing schema based on R-Tree[J]. Geography and Geo-Information Science, 2007,23(6):38-41. ]
声明：勘测联合网转载本文仅限行业学习交流之用，版权、著作权归原载平台及作者所有。
推荐阅读
---------------- 推 广 ---------------