查看原文
其他

胡中南:云原生GIS技术新进展 | GTC专题论坛报告(视频+PPT+速记)

在GTC 2020『GIS基础软件新技术论坛』上,超图研究院副院长胡中南作《云原生GIS及Web端技术新进展》报告,他首先系统讲解了云原生GIS技术的三大新进展:微服务更微、可扩展,容器化部署更全、更易用,自动化编排适配更多平台等,介绍了这些技术如何支撑云南地质大数据等系统实现高可用、高并发、高弹性“三高”价值;也系统阐述了Web端GIS技术从基础库、组件库、模板库到WebApps的多层次结构及相关新进展,让GIS前端应用开发定制更快速便捷。


本文将分为云原生GIS与Web端GIS两大部分,现分享云原生GIS部分资料如下:

演讲PPT



演讲PPT


大家好,我的报告分为云原生GIS和Web端GIS两大部分。


大家知道,超图集团宋关福总裁在GTC 2020上提出超图的分布式GIS技术体系包括云原生GIS、边缘GIS、分布式分析处理、分布式空间数据引擎和空间区块链技术,以及在各种端GIS上的支持与应用。


我的报告侧重于其中的云原生GIS技术和Web端GIS这两方面。


首先我们来看一下云原生GIS技术。


我们回顾一下SuperMap GIS服务层技术的发展历程,包括互联网GIS、服务式GIS、云GIS、云原生GIS四个阶段。


我们从2018年起开始做这个事情,率先提出并发布。


云原生GIS是原生为云而设计,充分发挥云的弹性和分布式优势的一个GIS技术。在今年的SuperMap GIS 10i(2020)里会继续增强和改进。具体有哪些改进点,后面会提到。


SuperMap云原生GIS产品,也就是SuperMap 云GIS的“三驾马车”,其中的SuperMap iServer提供GIS功能微服务和容器化部署,SuperMap iPortal提供GIS门户微服务和容器化部署,SuperMap iManager with K8s提供自动化编排和运维。


上图为SuperMap云GIS三驾马车的K8s部署结构图。


1、最下面是GIS自动编排和一体化运维管理。

2、中间部分GIS微服务与容器化部署,这是最内核的。

3、上面是GIS微服务治理,用来对多个GIS微服务进行通信、注册等。

4、最左边我们把Web层也做了容器化部署,后面也会提到,就是所谓的容器化不仅是服务,也有Web。


我会从这三部分介绍云原生GIS技术在过去一年新的进展,包括GIS微服务架构、GIS容器化部署和自动化编排。


第一:GIS微服务架构,我们总结为更微、更多、可扩展。


更微,之前在宋关福总裁的报告中也提到了,我们做到了服务级以及内核级的双重拆分,根据功能依赖关系,把GIS C++内核库拆分成多个包,包括地图内核包、分析内核包、三维内核包等。 


拆分出来有什么好处?首先这个微服务部署包更小。我们做了一个对比,从经典单体架构到2018年第一代微服务,再到2020年拆分之后包的大小。可以看到,拆分后的各个微服务包都比以前更小,平均大概是单体架构的40%,大大节约了磁盘空间。 


容器镜像也更小。


同时,因为容器镜像更小之后,内存占用也会更少,不到之前一半的大小。


启动时间也会更短。大家可能更关心这个。以前可能需要几十秒,现在要十秒,未来还会继续优化,在几秒钟内争取就能把服务启动起来,这样更有价值。因此,高弹性的价值就在于这里。


其次,微服务更多。


标红地方就是今年新增的一些服务,例如基于空间区块链数据历史服务。本报告主要侧重非功能的角度,从快速运维和快速开发的角度来讲,具体的功能会讲的少一点。


再次,就是微服务可扩展。


大家知道,SuperMap iServer在单体时代是可以扩展的,我们叫DSSE领域空间服务扩展的这么一个技术。从服务接口、服务组件到服务提供者三层都是可以扩展的,扩展出的领域服务可以再打包部署到SuperMap iServer系统里。现在我们的微服务化部署也可以支持微服务扩展,并且是基于同一套扩展技术,不需要写两套代码,既方便又快捷。 


由上图可以看出,开发者扩展的领域服务,和产品内置的微服务是同等地位。这也就意味着我们GIS微服务治理框架的这些能力,包括微服务基础设施、SuperMap iManager管理运维能力都可以共用,用户不用再写一套东西,统一的访问入口和安全控制,与内置服务享有同样的地位。 


这是我们关于微服务扩展的一个示范工程,其中包括了全开发部署周期的介绍。从微服务的开发、构建Jar包,到制作容器镜像包,到最后的部署及发布。另外也可以看到,扩展的微服务代码跟以前的DSSE扩展开发是完全一致的,不需要再重新写代码,只是构建、部署、发布的过程会有一些变化。 


第二部分就是关于容器化部署:更全、更易用。


容器化技术并不只是可以用于部署微服务。


我们在SuperMap GIS 10i(2020)当中,把SuperMap iPortal也做了一个拆分,把Web层的几个WebApp,比如数据上图、数据分析等等都做了拆分,可以把WebApp单独容器化,虽然它不是后台微服务,但是它也可以用容器做部署。


也就是图中左列的“Web层容器化部署”,黄色的部分。


它有什么好处?第一就是解耦,这和其它的容器化部署的价值一样,就是解耦,更加轻量;第二是可以单独的部署,不管是内置的Web应用还是你的应用,都可以单独部署,更灵活;第三是可以用SuperMap iManager with K8s自动编排运维,更加弹性。


关于容器化还有一个误区,很多人以前都认为容器化只能在Linux里面玩。


借助最新的Docker技术,我们可以部署到更多的平台上,比如Windows和MacOS都可以部署SuperMap云GIS产品:SuperMap iServer、SuperMap iPortal以及SuperMap iEdge。


这就是所谓的Docker Compose,可以在各种OS上部署我们的产品。


比如在Windows上部署我们的Linux版GIS服务器。图中标红的区域是指,这是一个Linux环境,是通过Windows加Docker模拟出一个Linux环境,来运行的SuperMap iServer。


通过容器化技术,云GIS三驾马车也可以快速地部署到MacOS系统上运行和使用。 


可能大家会提问,为什么要在Windows上使用这个容器化?本来跑的好好的,为什么要做容器化的封装呢?


因为有以下好处:


第一跟Windows系统是相互隔离的,就是你在容器里面干的事情,不管它是挂了还是重启,不会影响Windows系统;


第二你可以同时运行多个容器,相互是不影响的,也是隔离的;你也可以模拟Linux环境,因为它和Linux是一样的,是同样的环境,也不需要你去再装一个Linux系统,非常方便。这是后台开发者的福音,可以说是更易用的GIS容器化技术。


同时还有额外的好处。我们通过实际测试发现,容器化应用的Linux服务器比原生的Windows启动更快,Windows+Docker启动SuperMap iServer的时间是Windows的四分之三。


第三就是关于自动化编排,也就是说有很多微服务和很多容器,怎样能够把他们快速的管理运维起来,自动化编排的新特性是:更全、更多平台适配。


我们以空间区块链为例,可以用SuperMap iManager with K8s一键编排构建空间区块链站点。


为什么要用它来做,可能之前也提到,区块链节点或者是组件,包括IPFS、Fabric等很多,每一个小框可能都是一个独立容器节点,都需要去部署。如果我们手动部署这些节点,可能记不住,万一一个没有起来或者是容量不够你都无从知晓。所以用SuperMap iManager with K8s这样的产品来做这个事情,实现自动化编排和运维。


这是一张截图,就是整个SuperMap iManager产品做的这个事情。


我们可以一键创建空间区块链站点,创建之后可以看见有哪些服务,并对其进行管理。


这些服务是什么状态都可以看,通过这个拓扑图,服务之间是什么关联,有多少副本都可以看到,和我们管理其它的站点是一致的使用方式。


同时还可以更适配,包括支持K3s,使边缘GIS更高弹性、高可用。


因为它是一个轻量级的K8s,就是部署便捷,资源占用低。尤其适合边缘GIS节点的云原生。


基于它还可以实现K3s的自动弹性伸缩,因为你是边缘,边缘的访问量可能会变高,可能会有峰值,那么可以通过它实现快速的弹性伸缩。


另外一个更适配,关于支持腾讯云容器服务。


我们之前都做过测试,包括阿里云、腾讯云都是可以的,因为他们是一个标准的K8s环境。


为什么可以?因为云上的K8s服务只是把外围K8s环境换了一下,无论你是腾讯云提供的,还是其它云提供的,只要你是一个标准的K8s环境,都是适配的。


值得一提的,我们也适配了华为鲲鹏的ARM云的云容器引擎,因为跨平台技术的支撑,我们可以在ARM上运行。


总结一下前面云原生GIS技术的新进展,包括三个点:


第一个是GIS微服务架构更微、更全、可扩展,尤其是这个可扩展可以给开发者带来更好的适用。

第二是关于容器化部署,更全、更易用,可以在Windows快速部署一个Docker容器,你可以快速的使用我们这个云原生相关的GIS技术,或者是你自己的GIS应用,都可以做容器化部署。

第三是自动化编排:更全、更适配。


可能大家会问,我什么时候采用这些云原生GIS技术?有哪些应用案例?如何采用这些技术?


我们讲需要三高的时候可以采用这个技术,就是高可用、高并发、高弹性。


列举一些案例。


比如云南地质大数据服务平台的云原生改造,它是从2019年6月做的云原生GIS改造,2019年10月上线验收通过。


GIS作为基础服务,要求就是稳定高效。


之前他的GIS服务也是部署在云平台里,包括二维和三维服务也是像其它服务一样部署的。


改造之后就把GIS单独弄出来,因为我们要求不一样,我们用K8s部署GIS平台,让GIS服务和管理都在这上面运行,和其它的就解耦了,这就是解耦带来的好处之一。


改造后有什么变化?首先是应用,从单体到微服务,因为这个微服务是GIS微服务,我们超图的产品是内置的,所以是从应用到微服务的变化;在部署方面,从虚机到容器,启动更快、占用资源更少;管理方面从手动到自动编排。


利用SuperMap iManager实现自动编排和集中运维,不管你是基础设施还是微服务还是对外发布的服务,都可以用SuperMap iManager集中运维管理起来。


在有64核、256G内存的环境下,‍支撑了400多个GIS微服务实例,发布了上千个在线地图。


云原生GIS这个有什么好处?第一是稳定,各服务互相隔离,也可以自动恢复;第二是高效,动态伸缩支持高并发;第三是更便捷,无需手动配置集群,可以自动编排运维,例如一些新的分析功能和大数据功能都可以更简单的使用。从这个案例可以体现的价值点就是高可用和高并发。


第二个案例是云上贵州,它也是一个云GIS,基于阿里云政务内网环境,有10台虚拟机这么一个环境。


在这之前虚拟机大家都比较熟悉,比较简单的一个方式。


升级为云原生GIS部署之后,在虚拟机之上用K8s做了一层封装。在这基础之上,用SuperMap iManager实现GIS运维管理,在这上面把我们的SuperMap iPortal、SuperMap iServer以及大数据环境,包括瓦片数据库和矢量数据库,也就是说把计算、数据、分析和发布都用统一的云原生技术做了改造和升级。


这是我们讲的高可用和高弹性。


再比如这个水务云项目,它是基于阿里政务云环境,在这种云环境中,采用SuperMap云原生GIS作为GIS基础平台可以最大限度发挥云的优势价值。


包括这个高速BIM系统,也是阿里云+SuperMap云原生GIS,提供三维GIS服务,来支撑上层应用系统。


还有多种行业应用,如阿里云数字地球引擎解决方案(APE),公安时空信息平台,遥感、国土、交通、CIM应用,地理信息中台等等,都在采用超图云原生GIS技术和产品作为支撑。


云原生GIS的价值包括高弹性、高可用、高并发、更便捷等等。


总结:采用云原生GIS技术,助力系统“三高”,高可用、高并发、高弹性。


那如何在项目中引入云原生GIS技术?


这里指的是在应用项目中如何引入云原生技术,并不一定局限于超图的云原生。按照从简单到复杂,可以分为这么几步:首先是容器化,把你的应用从虚拟机迁移到容器,这是最简单最快速的;其次是把一些核心服务做微服务化改造;再次在微服务多了以后,做自动化编排;以及最后做CD持续交付、DevOps的工作,这个涉及到流程的变化。


首先简单说一下容器化,以前交过来是一个Jar包,自动用Ftp或其他工具Copy过去,或者放到Tomcat里面去形成1个zip包,如果你用容器化交付,就是用这个应用Docker Image,构建一个Docker镜像,然后把它推到一个仓库里面,交付的就是一个Docker镜像,更加解耦独立,比较方便,也不需要部署一个虚拟机了。


第二步微服务化,可能大家有所了解,有Spring Cloud、Dubbo服务网格等技术框架,引入Consul等工具做微服务治理,可以分层迁移,用户并不需要把所有的服务都迁过去,我们可以做一些简单、高稳定、高弹性的一些核心服务做微服务改造。


第三步自动化编排,肯定就是K8s,以及类似的K3s、Rancher,这些都是开源可以直接提供的。


当然你也可以先从部署一套容器版的SuperMap开始,可以直接拿过来用,不用写代码,一个Docker命令就可以把它运行起来,可以免费试用。


【相关阅读】

01 “地理智慧 链接未来”,2020 GIS 软件技术大会主题大会召开

02 徐冠华:地理信息技术助力我国经济发展和社会治理创新,这四点不可少

03 宋超智:我们应比任何时候更重视技术创新和应用实践

04 钟耳顺:基础软件是信息技术之魂,GIS基础软件是地理信息应用的根

05 郭仁忠:基于GIS的智慧城市工程逻辑 | GTC主会场报告(视频+PPT)

06 蒋文彪:自然资源信息化实施的重点与路径 | GTC主会场报告PPT

07 CCTV13:大数据+人工智能+5G+区块链 我国加快推进地理信息技术应用

08 GTC在线专题论坛开播,来看新型智慧城市与数字孪生城市的创新

09 GTC 2020自然资源信息化论坛在线举办

10 GIS基础软件新技术论坛在线举办,新技术你怎么这么酷!

11 “BIM+GIS”与CIM论坛在线举办,地理智慧助力BIM与CIM建设应用

12 热议GIS技术与测绘空间信息服务工作,测绘与空间信息服务论坛在线举办

13 宋关福:分布式GIS与空间区块链技术探索 | GTC主会场报告(视频+PPT+速记) 

14 陈勇:SuperMap GIS 10i(2020)新进展 | GTC主会场报告(视频+PPT+速记) 

15 冯振华:新一代三维GIS技术新进展 | GTC专题论坛报告(视频+PPT+速记)

【往届回顾】

01 聚焦人工智能GIS技术,2019 GIS 软件技术大会在京开幕02 十二届全国政协副主席王钦敏:加强GIS基础软件建设势在必行03 GTC2019专题论坛:报告、签约、发布众彩纷呈
04 GIS开发者论坛:由程序员为GTC2019收官05 2018 GIS 软件技术大会开幕,新技术推动地信产业快速发展06 爆满,超燃!GTC2018专题论坛现场速递07 地理智慧,数据驱动 2017 GIS 软件技术大会在京举办08 爆了!GTC 2017 14个专题论坛匠心呈现,高朋满座流连忘返


GIS软件技术大会会议通知/新闻动态/会议资料-扫码关注我们-

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存