超图研究院和华为openGauss社区联合研发的二三维一体化开源空间数据库——禹贡,有哪些特性?将为用户带来什么价值?
超图最新发布的云原生GIS 2.0,有哪些新技术?如何做到更智能、更快、更有弹性、更省资源?
SuperMap GIS 11i(2022)带来了哪些更炫、更快的多重三维升级?三维GIS技术四大新特性——S3M 3.0、游戏引擎的GIS插件高保真三维SDK、高保真三维场景浏览器、自研架构Web3D SDK,分别带来哪些新体验?
前不久,超图集团董事长兼CEO宋关福在2022 GIS软件技术大会主题大会作《创新GIS根技术,筑基地理智慧应用》主题报告,提出GIS基础软件是地理智慧根技术的观点,分享了SuperMap GIS 11i(2022)一大波技术升级,深度解读了以上三大精彩议题。
以下为根据演讲视频整理的详细图文——
各位领导、各位专家、各位同行,大家好!今天,我跟大家分享的主题是“创新GIS根技术,筑基地理智慧应用”。第一个数据来自中国地理信息产业协会的统计:2020年中国地理信息产业规模达到了6890亿。第二个数据来自东吴证券的预测:2022年中国数字政府的产业规模将达到6859亿。再来看一个政策文件。最近,多个部门发文加强数字政府的政策,比如国务院印发的《关于加强数字政府建设的指导意见》,就主动顺应经济社会数字化转型趋势,充分释放数字化发展红利,全面开创数字政府建设新局面作出部署。地理信息技术应用的一个重要领域是数字政府。此外还有数字国防、数字社会和产业数字化。支撑所有这些应用的是地理智慧。5年前,超图提出了地理智慧“金字塔”理论,从下往上有四个层次,包括地理可视化、地理决策、地理设计和地理控制。支撑地理智慧的是GIS基础软件技术。几年前,我们提出了GIS基础软件五大技术体系,分别是大数据GIS技术体系、人工智能GIS技术体系、新一代三维GIS技术体系、分布式GIS技术体系和跨平台GIS技术体系,合并起来叫做“BitDC”。我们说,GIS基础软件是地理智慧的根技术。二、SuperMap GIS 11i(2022)有哪些技术升级?今天,我们在这里发布SuperMap GIS 11i(2022),也带来了一大波的技术升级,包括:大数据GIS技术体系和人工智能GIS技术体系双重支撑下的多源视频空间化技术;新一代三维GIS技术体系方面,有四个新特性:自研架构Web 3DSDK、高保真三维场景浏览器、性能与效果增强的高保真三维SDK、性能与效果增强的S3M 3.0;在分布式GIS技术体系方面,我们带来了云原生GIS 2.0技术;跨平台GIS技术体系方面,有两个新特性:开源空间数据库禹贡、跨平台制图迁移技术;此外,还有其他关键技术,如WebGIS低代码开发技术、GIS在线创作者平台。由于时间关系,我在这里跟大家分享三项内容:一是开源空间数据库禹贡,二是云原生GIS 2.0技术,三是新一代三维GIS的四个新特性。其他新技术由我的同事——超图研究院副院长陈勇向大家汇报。刚才,李维森会长宣布了超图和华为联合研发的禹贡开源空间数据库正式发布。“禹贡”这个中文名字取自中国古代的一个地理名作《尚书》中的一篇——禹贡。禹贡开篇提到:“禹敷土,随山刊木,奠高山大川”,意思是:大禹划定土地的疆界,随着山脉行走,砍伐树木作为路标,用高山和大川来划定疆域。大禹除了治水以外,还有一个很重要的贡献就是分定九州。我们取“禹贡”作为新产品的名称,就是“禹贡开源空间数据库”。在全球的数据库生态中,PostgreSQL是最先进的开源关系数据库,PostgreSQL之上有PostGIS,它对关系数据库做了后台的空间数据库拓展,但PostGIS数据模型升级换代较慢,尚不支持三维模型等数据类型。今年5月,openGauss开源数据库已跃居国内数据库流行度排行榜首,目前市场需要更强大的、支持二三维一体化的开源空间数据库。在这样的背景下,我们和华为的openGauss社区联合,在PostGIS基础之上研发了二三维一体化开源空间数据库——禹贡。禹贡是在PostgreSQL数据库后端的一个空间数据扩展,由GIS厂商维护。它有三个特点:1.快速升级空间数据模型。GIS厂商有庞大的生态伙伴体系和用户群体,会有很多领先的应用需求来牵引技术的发展,禹贡可以实现快速升级;2.高性能后台空间分析。由于禹贡是数据库后端的空间数据库扩展,所以很多大规模的数据处理和分析可以在后端执行,不需要把数据传输到前端计算,性能会提升;3.代码开源,格式开放。禹贡由超图和华为联合研发,供市场免费使用。禹贡联手PostgreSQL系列的国产数据库厂商,包括openGauss、人大金仓、海量数据、瀚高等,一起构建空间数据库的信创生态。禹贡空间数据库的技术架构如图所示,右边标“new”的模块,是禹贡在PostgreGIS基础之上扩展的新功能。这是禹贡的第一个版本,随着不断升级迭代,禹贡还会提供更多的扩展性能。
这是禹贡支持遥感影像和二维矢量数据展示。由于PostgreGIS支持这些数据,因此在超图桌面软件和开源桌面软件里,都可以同时访问这些数据。
▲通过SQL语句为二维建筑面生成三维白模
我们还可以通过SQL语句,直接为二维建筑面数据集创建一个三维白模。在不同软件里,我们都可以管理、调度、使用这个三维白模。
▲“禹贡”扩展支持:BIM数据
此外,我们对PostgreGIS作了扩展,使禹贡能支持三维模型数据。这是存储在禹贡里的BIM数据,可以在GIS软件中对其进行管理、分析和使用。
▲“禹贡”扩展支持:空间网格编码
禹贡还扩展支持空间网格编码。这是一个空间网格编码,禹贡能对室外建筑和室内设施和家具进行空间网格编码。这是禹贡的两个网站,一是源代码开源地址,二是禹贡开源空间数据库官网。超图一直在拥抱开源产品和技术。一方面,超图用开源技术提升和弥补商业软件的能力(当然前提是开源软件允许商业软件使用);另一方面,超图也在为开源世界贡献自己的力量,这是超图在开源社区里提供的产品和技术,大家可以在GitHup上查找使用。2018年,超图发布了云原生GIS 1.0,提供了三个技术:微服务、容器化、自动编排。今天,超图发布了云原生GIS 2.0,带来另外两个新技术:服务网格、无服务器计算。1. GIS服务网格(Service Mesh)。(1)服务度量。可以评估各个服务的通信质量,方便后台的管理和优化。(2)服务追踪。可以追踪服务运行中出现的异常,管理员能及时跟踪处理。(3)访问控制。可以自由设定任意两个服务之间的访问权限,既可以允许它访问,又可以禁止某些服务访问另外一些服务,提升系统安全性。(4)灰度发布。以前,应用系统每发布新版本,都会让全部用户去升级使用。但有些用户不适应新版本,有些用户又非常需要新版本。我们可以采用这种方式:发布新版本时,让尝鲜用户使用,稳健用户还可以继续使用前一个版本。随着时间推移,稳健用户可以逐步切换到新版本里,不要求“一刀切”。2. GIS无服务器计算(Serverless Computing)。我们可以把微服务的计算模块拆分成函数级粒度,可按需执行、扩展和计费,甚至无需管理服务器等基础设施。这就是无服务器计算。第一次进化是2018年,之前WebGIS是单体服务,2018年GIS微服务发布之后,我们可以把单体服务分解成若干个微服务,每个微服务可以独立运行在不同的容器,实现了故障隔离。第二次进化是2020年,我们把2018年版本微服务的颗粒度进一步细化,例如,把通用GIS微服务拆分成五六个板块。第三次进化是2021年,我们把微服务拆分为更细的空间分析、网络分析等。今天我们发布的无服务器计算,就是第四次进化,把空间分析微服务又拆分成十几个可以独立执行的函数,实现更强的弹性。这是一个运营示意图。中间圈里的每一个节点都是一个微服务。右边在动的节点是某个微服务中的计算函数,我们可以实时查看函数的执行状态,并可对函数进行扩展和注销,这是一个弹性的操作。为了验证这一点,我们做一些对比测试,采用无服务器计算空间分析之后:镜像文件、软件包大小缩小了61%,容器启动速度提升了144%,容器停止速度提升298%,10副本的启动速度提升了117%,10副本停止速度提升了69%,1副本的恢复速度也提高了50%。无服务器计算空间分析的效果非常明显,更轻、更快。云原生GIS 2.0技术的意义可以总结为四点:更智能,更快,更有弹性,更省资源。其中更智能是GIS服务网格(Service Mesh)带来的,后三个是GIS无服务器计算(Serverless Computing)带来的。在SuperMap GIS 11i(2022)版本中,三维GIS技术有四大新特性:一是性能与效果增强的S3M 3.0;二是性能与效果增强的高保真三维SDK,就是游戏引擎的GIS插件;三是高保真三维场景浏览器;四是自研架构Web3D SDK。1.首先是性能与效果增强的S3M 3.0。从2.0到3.0,S3M有哪些主要升级呢?一是支持数据压缩,可以大幅度减少数据容量,提升读取性能。二是支持OBB包围盒,让空间数据的索引和调度更精准,可以节约数据的吞吐量,提高性能。三是支持蒙皮和骨骼动画,让场景有更丰富的动画效果。四是支持PBR材质和掩膜纹理。后面有一些PBR材质的效果演示,它可以让我们有更炫的可视化效果。五是Mesh模型存储时支持更多维度的顶点属性,有更多扩展的功能。这里面有两个关于提升性能的,还有两个是关于提升效果的。针对S3M 3.0的性能,我们也做了一些测试,总体上来讲,数据容量可以减少大约30%,内存占用节约40%,加载性能加快一倍。2.性能和效果增强的高保真三维SDK,就是以前的游戏引擎GIS插件。以前,我们为UE4和Unity提供了GIS插件,让他们能够访问GIS空间分析和海量数据。今年,我们也为UE5提供了插件——SuperMap Hi-Fi 3D SDK。
▲光影特效:光照变化
在SuperMap Hi-Fi 3D SDK里,我们提供了更强的光影特效,如光照的变化,可以模拟太阳落山前后的光影变化。
▲光影特效:雨雪天气模拟
▲后处理特效:屏幕空间反射
同时,我们还提供了一些后处理特效,如屏幕空间反射。在左边玻璃墙面上,我们可以看到天空和城市的反射。此外,我们还提供了一系列数据美化的能力,如白模的数据美化。左图为白模,以前我们通过纹理贴图来美化,但是纹理没有材质的质感。SuperMap Hi-Fi 3D SDK里,可以通过材质映射来实现更强的美化,让玻璃幕墙有真实玻璃的质感,效果更加好。在BIM软件里,我们常看到的三维模型如左图所示,颜色非常鲜艳,不大好看。鲜艳的原因是设计阶段需要区分不同的管道类型。但在运维阶段就需要更好的效果,这时就可以利用PBR材质让三维模型更有质感。所谓的PBR,就是Physically Based Rendering,基于物理特性的渲染技术。手工精模也可以进行美颜。我们在建精模的时候,建筑贴面的纹理是一张整图,无法区分窗户和墙面。如何展示这个建筑的夜景?
▲物理引擎:流水粒子系统
我们还提供了对物理引擎的支持,包括流水粒子系统,它参照了重力计算因素,效果非常逼真。这是UE中国的一位工程师,花半天时间结合UE和SuperMap 3D引擎开发的一个演示Demo,模拟飞机在风雪交加环境下起飞的场景。刚开始飞机的能见度很低,飞到一定高度可以看到云层之上的情况。再往前飞,还能俯瞰大城市。UE5提供了一种大场景的坐标系,可以实现宏观大场景和微观一体化在系统里使用。除此之外,我们还跟华为的3D引擎做了结合。当然目前华为的3D引擎还没有正式发布,还是Beta版,所以我们也是一个预发布。相信在下半年,会择机和华为联合发布新产品。这个产品叫SuperMap iExplorer3D,是基于SuperMap Hi-Fi G3D SDK和UE5开发的一款免费的桌面软件,可以用来浏览、查看三维场景数据。它有三个特性:一是支持海量多源异构数据,这是SuperMap 赋予它的特性;二是支持高保真渲染引擎特效,可以非常炫地渲染三维数据;三是支持云渲染,可以发布在Web端。这是iExplorer3D界面截图,可支持不同场景的数据。在Web3D渲染引擎方面,早年间Cesium开源软件发布了一个JS客户端,这里有Cesium的开发生态支持,但是它的能力有限,不能满足比较重量级的应用。超图的工程师基于这个框架做了大量的扩展,研发了iClient3D For Cesium引擎。这个引擎支持更多的数据格式,支持低代码开发框架,支持更多的数据类型,可以提供更多的能力。今天,我们又发布了一款自研架构的WebGL引擎——Web3D SDK,它支持两个低代码开发框架,让三维的真实感得到进一步提升。目前为止,Web的渲染和游戏引擎JS结构的渲染还是有差距,希望我们通过后边的努力能够进一步提升渲染效果。
▲环境光贴图(irradiance&IBL)
我们可以看到Web3D的渲染效果,它支持环境光的贴图,也可以在建筑物玻璃幕墙上看到天空的反射。
▲Web端模拟雪天效果
我们还可以在Web端上模拟雨雪的效果。这是雪天的效果,非常接近游戏引擎的效果。
▲Web端模拟雨天效果+屏幕空间反射(Screen Space Ref)
我们也可以模拟下雨,雨点打在地面的涟漪效果也能实现。雨停之后,湿滑地面上的建筑物倒影也隐约可见。
▲应用:UE导出白模PBR材质,在三维WebGL客户端加载
此外,我们还可以用游戏引擎导出白模中的PBR材质,如此在三维Web客户端也可以加载,使用PBR材质,基于物理特性的渲染来提升Web3D的效果。第三,三维GIS的四个新特性。
云原生GIS 2.0是我们“再闯无人区”的技术,这是我们在全球范围内率先发布和创新的技术。相信在我们的共同努力下,未来还将创造更多领先的技术。非洲尖毛草是一种长得最高的草,它半年长一寸,之后几天就可以长两米。在旱季的时候,这个草露出地面也就一寸,半年时间都没有见长,但是一旦雨季来临,三到五天就可以长一到两米,非常神奇。这半年时间它在干什么呢?它在长根,它的根最长可达28米。正因为有这样深厚的根,发展才有后劲。现在地理信息产业快速成长,地理信息应用蓬勃发展,我们愿意默默去开发GIS基础软件,为整个行业筑基。往期回顾
(点击标题直接访问)
● PPT | 宋关福讲地理智慧,科普解读GIS应用价值 2022-06-25
●宋关福 | 元宇宙或将引发三维GIS发展的第五次浪潮 2021-12-31
●论文分享 | 宋关福等:GIS基础软件技术体系发展及展望 2021-02-20
●论文分享 | 宋关福等:人工智能GIS软件技术体系初探 2020-08-31
● 论文分享 | 宋关福等:通用三维GIS场数据模型研究与实践 2020-07-20
●视频+PPT | 宋关福:新技术、新地图、新视角 2018-12-17
●GTC报告|宋关福:GIS基础软件技术四大升维 (视频+PPT)2018-09-26
●拥抱BIM,GIS需解决哪些关键问题?2018-06-13
●随BIM而至的CIM是什么?中日两国解读竟完全不同 2018-05-28
●龚健雅院士:时空大数据时代的挑战与思考(PPT分享) 2017-12-20
●周成虎院士:地理空间智能与无人飞行(PPT分享) 2017-12-13
●李建成院士:人工智能对测绘学科发展带来的机遇(PPT分享) 2017-11-30
●宋关福:全面拥抱大数据的GIS基础软件技术 (PPT+演讲配文) 2017-11-13
●空间大数据内涵与外延 2017-09-14
●当GIS拥抱大数据 | GTC主会场报告(PPT+视频) 2017-08-31
●洪桃李:腾讯大数据应用实践之路 2017-08-29
●周成虎院士:GIS的大数据时代展望 2017-08-28
●讨论 | 三维、云和大数据GIS技术在光环曲线什么位置? 2017-08-23
●多位大咖曾参与中国首套商品化GIS软件,他们都有谁?2017-08-03
●中国GIS基础软件30年 2017-07-20
●当前GIS软件四大关键技术方向 2017-07-13
●千万别随便称大数据,否则可能会贬低你的数据价值! 2017-07-05