查看原文
其他

云南地勘转型探索:左手大数据,右手云原生

超图集团 2022-07-16
  • 本文刊登于2020年12月第71期《超图通讯》



云南地处祖国西南,气候宜人,四季如春,地势复杂多变,矿产资源丰富,地质勘查工作环境良好,地勘工作基础较好。云南省地质矿产勘查开发局(简称“云南地矿”)成立于1957年,是云南省主要的地质勘查专业队伍,成立以来承担了大量地质矿产勘探、勘查、找矿以及测绘等任务。
经过60多年的发展,云南地矿积累了一大批地质、测绘类的专业成果和数据。如何充分发挥这些数据的价值,让其在支撑专业业务的同时,能更多地为社会所用,一直是摆在云南地矿各级领导面前的一个课题。
2017年7月,云南省政府印发《关于重点行业和领域大数据开放开发工作的指导意见》。《意见》明确,加强大数据产业顶层设计,统筹规划大数据发展和开放开发工作,着力打造支撑全国乃至区域的行业大数据公共服务平台,培育一批云南省大数据核心骨干企业。
在“互联网+”的时代背景下,IT新技术的发展,市场新需求的出现,以及国家鼓励大数据产业等政策的推出,给地勘等传统行业带来了新的发展机遇。云南地矿积极主动地服务和融入国家及云南省重大发展战略,决定自主投资建设云南地质大数据服务平台,通过与曲靖市麒麟区人民政府签订战略合作协议,把麒麟区作为示范应用的落脚点来搭建云南地质大数据服务平台。
“云南地质大数据服务平台(云南地质大数据麒麟区服务平台)”(以下简称“云南地质大数据服务平台”)是企业自主投资、面向服务的全省性地质大数据服务平台。项目获得2020地理信息产业优秀工程奖金奖。
本期『人物访谈』连线云南省地矿测绘院总工程师、云南地质大数据中心副主任李加明,分享云南地质大数据服务平台(云南地质大数据麒麟区服务平台)建设和应用的故事。

大数据、云原生:地勘大数据促转型的两个必然选择

“事实上,早年间地勘行业的数字化和信息化的发展程度,是遥遥领先于其他行业的,进入互联网时代后,包括地勘在内的传统专业技术行业的信息化工作却已经落后于民企。”李加明谈到,“地勘行业是一个专业跨度比较广的行业,涉及地质调查、地质勘察、测绘地理信息等多类专业技术和学科,需要GIS技术来深度挖掘包括地质调查、矿业开发、工程勘察、自然资源调查等相关产业的发展潜力,夯实信息化建设。”

在这个背景下,云南地矿新一届领导班子紧紧围绕国家大数据战略和云南创新发展的要求,以补齐短板、夯实基础、支撑转型升级为总目标,提出建设云南地质大数据平台,促进云南地矿“大地质、大服务、大发展”战略推进“。因此,利用包括大数据在内的现代信息技术,推进地勘产业的数字化,进而促进地勘数字化转型升级,更好地对接数字经济时代的新要求,实现地勘传统产业和数字产业双核驱动,其实是一种必然的选择。”李加明说。

众所周知,地勘产业的成果绝大多数是空间数据,既存在海量、异构、多源等典型的大数据特征,也存在单一数据价值高、数据结构复杂等特殊的属性,本身的存储和管理就比常规数据要困难。从应用场景方面看,除了要求具备经典的大数据分析应用需求外,还要求具备可靠、稳定的应用特征,这与经典大数据应用体系是有所不同的。因此,要解决海量空间数据的管理和应用分析问题,向上层应用提供快速、稳定、可靠的服务,只能将大数据存储分析优势和GIS的空间优势结合在一起才能解决。

“至于云原生,实际也是如何更好地将传统GIS与云计算进行融合,更好地利用云计算的方式充分发挥GIS空间分析优势的问题。”李加明解释说。传统的专业GIS平台发展了很多年,已经比较成熟了。但这些年云计算发展迅速,传统的GIS平台本身并不能自主调配计算资源,不能很好地进行分布式计算,满足不了大规模计算分析的需要。然而在大数据的体系下,本身管理和分析的对象必然是海量的数据,必然需要大规模分析的支持。因此,对专业GIS进行云化改造、将传统的模块化组件进行微服务化,全面与云技术进行融合,充分利用容器、弹性扩展、负载均衡等先进的云技术来保障平台的稳定性、提高大规模计算分析的效率,其实也是一个必然的选择。

“我认为,利用大数据GIS的存储分析优势,以及云原生GIS对空间数据处理分析的特长,对海量地勘产业数据进行有效的管理、分析和应用,建立一个数据和服务中台,充分发挥数据叠加融合后的倍增效应,支撑各类专业业务应用,进而推动地勘行业转型升级,基本是建设地质大数据平台的必由之路。”李加明道。

项目建设成果丰富,后发优势明显

2017年,云南地质大数据服务平台正式启动,项目以打通数据孤岛、行业壁垒为目标 ,在麒麟区政府的支持下,云南地质大数据麒麟区示范应用服务平台将麒麟区国土、规划、水利、交通、城建、环境、农业、林业、安全、能源、综合执法、地下管廊、旅游等28个部门和单位的专业数据进行集成整合,通过数据融合、分析、挖掘和价值发现,形成以地理、地质信息为基础,以行业专题应用为支撑的大数据体系;通过推动技术融合、数据融合、业务融合,实现跨层次、跨地域、跨系统、跨部门、跨业务协调管理与服务,为麒麟区经济社会发展和提升政府现代化治理能力、民生公共服务能力提供科学技术支撑。

经过三年多的建设期,平台现已进入推广和应用阶段,并取得了良好效果。云南地质大数据服务平台的建设成果,可以简单总结为:

1、一整套完整的私有云平台。包括支持互联网、政务外网、城域专网三网融合,支持敏感数据和非敏感数据分区管理和应用、支持云化存储计算的硬件资源等成果。

2、一整套大数据存储计算平台。主要是以Hadoop为核心,支持各类数据存储、计算、分析的完整平台。

3、一套混合GIS支撑环境,以云原生的SuperMap GIS为主,以MapGIS为辅,全面支撑常规空间应用和地质专题应用。

4、一个超大型核心数据库。包括各类地理信息、基础地质、水文地质、工程地质空间数据和档案数据,地下、地表、地上二三维一体的核心数据库,数据量约1PB。

5、一个统一资源管理和服务中心平台。主要是将各类存储计算资源、数据资源、工具和模型资源服务化,进行统一的管理和服务。

此外,项目还结合具体的生产需求,建设了以个人工作台为主,配合专业业务需要的各类数据采集系统,以便解决内外业一体化生产需要。

李加明表示,云南地质大数据平台建设的时候,恰好是云和大数据发展比较成熟的时候,应该说具有后发的优势,本身还是具有一些自己的特点:

一是构架体系上相对比较先进。主要是在大型专业平台建设方面全面融入云计算和大数据体系,底层支撑较传统的专业业务平台先进。此外,在平台构架方面,实际就是“中台”的形态,建设初期就着重将主要精力放在中台及底层的支撑能力上,和很多专业平台将重点放在业务层面是不一样的。

二是在数据资源体系上相对比较全面清晰。由于地勘数据大部分是地下数据,因此在设计数据体系时,数据体系的全三维化就是一个基本需求。此外,由于数据比较复杂,对数据体系的梳理也是比较复杂的,2017年建设初期我们花了很大的精力进行梳理,将数据总体划分为现状数据、规划数据和管理数据三大类,再结合地域划分为省、市、县三级,这与2019年自然资源部发布的《自然资源信息化总体方案》提出的数据体系是高度贴合的。应该说,这个体系横向上可以容纳经济社会各行业建设发展的需求,纵向上也能满足三维立体管理的需要,目前来看还是比较先进的。

三是搭建了国内首个云原生混合GIS的支撑环境。在超图的支持下,在GIS支撑环境中,全面引入了超图云原生的GIS平台,大大提高了GIS平台的稳定性和空间数据的处理分析效率。“此外,为充分发挥地质支撑优势,我们还引入了中地的MapGIS平台,形成了混合GIS支撑环境,满足了地质支撑的要求。”李加明说,“这种将两个GIS平台与底层云环境和大数据体系进行服务级对接,形成统一的混合GIS支撑环境,有利于充分发挥各自的优势,在国内还是比较少见的。”

超图云原生GIS技术,保障平台稳定高效

云原生GIS技术是原生为云设计、充分发挥云的弹性和分布式优势的GIS技术,可以让云更好地发挥作用。微服务、容器化、自动编排、持续交付、DevOps是云原生GIS五要素,云GIS基于微服务架构思想,以容器为部署载体,可自动化编排、运维管理。通过云原生,可以使GIS中心更弹性灵活、稳定高效。边缘GIS是对云GIS的补充,实现就近服务发布与实时分析计算。通过边缘计算,可降低响应延时和带宽消耗,减轻云GIS中心压力。

李加明进一步解释说,云原生GIS是对GIS平台进行全面云化的新形态。众所周知,GIS平台软件是比较复杂的专业平台软件,经过长期的迭代现在已经比较成熟。“要全面云化、达到云原生的标准,相当于重构一个新的GIS平台,我个人是比较佩服超图公司领导的决心和魄力。当然,云原生的GIS,相对于传统构架的GIS有很多天然的优势,这在我们项目建设里体现得非常充分,发挥了关键作用。”

首先是大大提高了GIS平台的稳定性。基于K8S容器技术的超图云原生GIS,现在可以将大量的服务放在容器里运行,进一步减少了资源占用。同时,借助轻量化的容器技术,服务的重启速度较以前大幅提高,这有助于增强平台的稳定性。

“由于我们大数据平台发布了数千个数据和地图服务,在没有上云原生之前,经常会因资源占用问题导致服务停止,现在运行一年多来,基本没有发生过服务停止的问题,作用很明显。”李加明说。

其次是数据处理分析的效率有了很大的提高。得益于底层空间分析的微服务化,现在可以将GIS分析组件与大数据分析计算体系进行完美的融合,再配合容器自动编排,整个空间分析的效率得到了很大的提升。

“比如我们在一些应用里,要在野外快速了解土地利用结构、规划状况等一系列背景信息,现在通过高效的后台分析,可以在10来秒就完成后台背景分析,很快提供给调查人员使用。”李加明介绍,“另外,随着超图云原生GIS一起引入的海量数据的免切片技术,对减少我们服务发布工作量,在客户端定制地图样式等都带来了很多益处。”

截至目前,项目已顺利通过总体验收,并获得了云南省发改委、云南省自然资源厅、云南省有色局、云南省工信厅、云南省科技厅、曲靖市麒麟区政府以及验收专家组院士及各行业专家的一致好评。李加明说:“在项目建设过程中,超图项目组积极探索使用前沿的云GIS和大数据GIS技术,通过不断迭代升级将SuperMap GIS平台价值发挥并应用到实际项目建设中,为项目提供了有力的技术保障和优秀的技术产品,促成了项目顺利圆满验收。”

面向政企地勘领域,未来技术和应用同步提升

李加明介绍说,得益于云南地质大数据服务平台强大的底层支撑,这两年云南地矿面向政府、面向市级提供了很多服务,取得了不错的效果。

如云南省一个重点湖泊保护平台建设项目就充分利用了平台的数据资源支撑能力,将空间因素和地质信息引入湖泊治理和监测监管,再结合GIS的各类空间分析优势,极大地丰富了传统环保类信息化系统的功能,从源头上很好地强化了影响湖泊水质的各类因素的管控,建设成果得到省、州主要领导的肯定,取得了很好的社会和经济效益。

依托项目强大的支撑能力,2020年上半年云南地矿受云南省自然资源厅的委托,开发了农村不动产基础信息的采集系统,在不到2个月的时间,就采集了近千万宗农村不动产的基础信息,极大地促进了云南省的农村不动产确权登记工作。

这个系统的用户规模日均达6万,高峰日访问量达1700多万次,对后台有支撑能力要求很高。这项工作全面检验了平台的支撑能力。

此外,云南地矿支撑云南省的一项资源调查和动态更新已有多年,以前采用的是离线形式,要求移动端要有很强的计算能力,即便如此,仍有很多重要的背景数据在移动端没有办法处理。平台建立起来后,我们对原来的移动端进行了全面的改造,将大量的数据和功能迁移到服务器端,依托平台丰富的数据资源和强大的计算能力,不但实现了移动端的轻量化,还更好地保障了数据的安全性,大大提高了工作成效。

“总之,有了这个强大的平台,将数据资源、计算资源和专业服务资源进行统一集成,形成拿来就用的现成工具,使我们地勘行业的专业人员能更好地聚焦行业业务,极大地扩展了各专业的想象空间,给了大家一个更好地发挥专业能力的舞台。”李加明说。

目前,云南地质大数据服务平台在促进生产管理、提高生产效率,夯实发展基础、促进产业升级,提升云南地矿服务政府和服务社会的能力与水平等方面发挥了重要作用。下一步将在三个维度发力建设:

一是要进一步补充平台的数据资源。地上部分主要是面向精细化进行补充,采集更多的城市部件信息,形成全息城市空间数据。地下部分要将各类地质体、矿体的数据进行建模,以更直观的方式进行管理和应用,不断补充完善核心数据库的内容。

二是要进一步完善三维展示和应用的能力。一方面要从表面进入实体内部,搭建起从宏观场景到内部精细场景的全空间实景三维。另一方面要对三维展示效果进行提升,更好地改善光影、纹理效果,提升三维场景的氛围感。

三是要扩展和补充人工智能方面的能力。人工智能与 GIS的融合是目前 GIS 领域的热门的主题之一。我们平台中有大量的实体样本数据,如何充分利用这些数据,面向资源调查和监测领域解决快速检测变化,提取变化信息等方面要做一些工作。

李加明表示,未来将通过在数据资源层面、平台支撑层面的不断丰富和完善,更好地夯实平台的基础支撑能力,保障云南省各地勘单位实现从数据采集、数据管理、数据分发、数据应用一体化服务能力的提高,支撑各地勘单位更好更快地转型升级。


采访、组稿/企划中心 王静静





欢迎转载~


都点一下,天天好心情!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存