查看原文
其他

小胡子聊自然资源信息化数字中台战略系列之三:数据中台

GIS小胡子 自然资源信息化 2021-09-21

上一篇说到“中台”的种类,今天重点展开说说数据中台。

 

各个“中台”之中其实最难懂的就是数据中台。首先数据中台不是一个平台,也不是一套系统,他是一套让数据用起来的机制,是依据企业业务模式和组织架构通过产品和实施方法论支撑来构建的一套持续不断,把数据变成资产并服务于业务的机制。听起来非常绕口难懂,有一个比较经典的四句话先背下来再理解:数据资产化、资产服务化、服务业务化、业务数据化

 

 

数据中台:以数据、资产、服务、业务转化为核心构造业务数据生态闭环。

  

 

真正实现上述的四句话,数据中台必须具备四个核心能力:1、汇聚整合,打破数据壁垒;2、提纯加工,建设标准数据体系;3、服务可视化,提供便捷、快速的数据服务能力;4、开放服务,实现数据价值变现。按照目前自然资源信息化建设的阶段,大家基本上都停留在第三阶段,真正让数据价值变现还是有些难度,也在努力中,比如各地有电子政务办、大数据局之类的统一机构在考虑如何打通部门间的数据大共享、发挥数据价值的事情。

 

 

持续数据治理战略赋能业务数据应用闭环。

 

 

数据中台说到底还是以玩转数据为主,核心是“数据治理+业务赋能”,数据治理在自然资源领域研究、琢磨了很多年,从数据库到数据仓库到数据平台再到数据中台还是聊数据。

 

在数据中台层面将整个数据体系从下到上分为了四层,这个理论体系分类还是比较重要的,对自然资源数据的治理我们会有新的思路。

 

1. 贴源数据ODS层

2. 统一数据仓库DW层

3. 标签数据TDM层

4. 应用数据ADS层

 

对于贴源数据层理解。贴源数据层重点就是将企业已有各个业务系统中的数据抽取何集成到一起,形成全量的业务数据;需要注意的是仅做简单整合、非结构化数据结构化处理或者增加数据日期描述信息,不做深度清洗加工

 

注意当前主流的方式已经从ETL变化为ELT,即只负责最简单的数据抽取和装载,没有复杂的数据映射和转换动作,当我们看类似DataX这种工具的时候你也可以看到这个特点,变得更加轻量同时性能也更高。

 

如果要说贴源数据层和传统ODS库的区别,那么贴源数据层仅仅做数据的汇聚和整合,并不具备传统意义上的ODS的如下功能,即数据交换,实时性,报表等功能。

 

对于数仓层理解。对全历史业务过程数据进行建模存储,对来源于业务系统的数据进行重新组织。业务系统是按照业务流程方便操作的方式来组织数据的,而统一数仓层从业务易理解的视角来重新组织,定义一致的指标、维度,各业务板块、业务域按照统一规范独立建设,从而形成统一规范标准业务数据体系。

 

数仓层感觉像是我们常说的数据治理的工作,但他站的层次更高,比如我们现在一直在做的职能域、业务域分析也属于数仓层干的活。

  


按照数据治理流程可以看下面的图:

 

 

对应标签数据层的理解。统一数仓层是按照数仓的维度规范建模,对业务数据进行了重新组织标准化。标签数据层是面向对象建模,把一个对象各种标识打通归一,把跨业务板块、数据域的对象数据在同一个粒度基础上组织起来打到对象上。标签数据层是围绕一个关键对象进行的分析和建模,而且这个动作是完全跨越进行的,数据粒度更粗更抽象,但是能够发挥的数据价值往往却越大。

 

标签数据层建设,一方面让数据变得可阅读与理解方便业务使用,另一方面通过标签类目体系将标签组织排布,以一种适用性更好的组织方式来比配未来变化的业务场景需求。举一个例子,在自然资源领域一个地块在不同业务部门标签是不一样的,一块地“批供用补查登”各阶段标签不一样。

 

标签数据层比较复杂还涉及到关系的问题。在自然资源行业现在流行的“一码管地”其实有这个意思,至少目的是相通的。

 

 

对应用数据层理解。应用数据层是按照业务使用的需要,组织以及加工好的数据以及一些面向业务的特定个性化指标加工,以满足最终业务应用的场景。类似于传统的数据集市,但比数据集市更轻量化、更灵活,用于解决特定的业务问题。业务需求是千变万化的,千奇百怪的,所以应用数据层的操作也是比较奇特的,有些是反规范的,以灵活解决业务需求为导向。

 

按照这四类数据体系再叠加上数据中台的一些功能需求,整个数据中台架构图就出来了。

 

 

如果具体去做数据中台开发还涉及的三种产品能力:1、离线开发,包括数据加工、数据分析、数据探索、在线查询和即席分析等相关工作;2、实时数据开发,主要涉及数据的实时接入和实时处理;3、算法开发,可视化托拉拽的方式实现数据价值深度挖掘。

 

其实真正中台化不是某个技术、某个架构就解决了;中台化需要一些条件,需要评估基础与能力,还需要长时间、大资金的投入,真正中台化转型难度很大。

 

一方面大家都宠信迷信新技术,另一方面也有人在唱空喊话“做中台死更快”。

 

落实到自然资源信息化方面,各家也都在讲中台、中台,虽然也许各家并不是真正的中台,但至少我们从中台战略思想中做了很大的提高、升维,对自然资源信息化提升也是利大于弊。

 

数据中台内容太多,只能简单说到这,回见。


这一系列文章可能会比较多,欢迎关注继续监督小胡子给写完。

  

重 要 说 明

文中观点系小胡子思考与任何单位无关。

如有不适通知小胡子立即删除停止传播。

私下交流请加个人微信:gisgisgisgis。


历史系列本系列文章:

小胡子聊自然资源信息化数字中台战略系列之一:数字中台是个什么鬼?

小胡子聊自然资源信息化数字中台战略系列之二:中台类型知多少?

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存