什么是数据地图、血缘分析与数据资产?
取名字是一门学问,理科生取名字的确让人难以捉摸。比如这个数据地图、血缘分析和数据资产。如果不是干数据这行的,根本不会想到这仨词居然有关系!
数据地图
数据地图是数据治理的重要功能之一。咱顾名思义一下,是不是就是数据的地图?是的!就是所有已经被管理好的数据的地图。这个地图主要解决以下几个问题:
1、平台有多少数据资源?
2、每个数据源有多少表、字段等?
3、这些表、字段里面都是啥情况?
4、我怎么能找到这些数据?
5、我怎么理解这些数据?
所以一般来说,数据地图里都应该有以下功能来解答上面的几个问题:
1、数据概览
2、元数据查看
3、数据预览
4、数据目录
5、数据检索
6、数据注释(元数据管理中)
7、血缘关系分析
以上功能名称可能不一样,但是解决的问题都是一样的。其核心就是为了告诉你,平台现在管理着那些数据呢。类似于公司的物资目录、台账。
这是阿里数据地图的概览页面,很模糊,看一个大概意思就行了。
血缘关系
血缘分析,又叫血统分析、血缘关系等,是数据治理的重要功能之一,一般都放在数据地图/数据管理模块下。
同样再顾名思义一下,那就是数据的儿子、爸爸、爷爷这个血缘的分析?对了!就是对数据的上下游进行来龙去脉的分析!血缘分析主要解答以下问题:
1、这个数据的数据源是哪儿?
2、这个数据的上游是哪个表?哪个字段?
3、这个数据的下游到那个表?那个字段?
4、这个数据的上下游任务是什么?有哪些任务依赖?
5、这个数据改动后可能造成的的影响有哪些?
所有血缘分析一般会有以下功能:
1、数据来源跟踪;
2、数据影响分析;
3、任务依赖分析;
4、报表影响分析;
同样,名称可能不一样,但是该解决的问题还是得解决的。其核心就是想知道这个数据/任务/报表的上下游关系,一旦想改这个数据结构/任务/指标/报表,会对上下游有哪些影响。类似于公司的流程图,可以看到这个事情上上下下都是哪个角色在负责,一旦调整,会有哪些角色/人会受到影响。同样,这是阿里的血缘关系的功能页面:
数据资产
这个词应该见的最多了。咱同样也顾名思义一下,就是公司的一种“数据”形态的资产。这个数据资产主要解答以下几个问题:
1、平台有多少可用的有价值的数据?
2、这些可用的有价值的数据都是啥?
3、用什么方式可以使用这些可用的有价值的数据?
4、怎么控制这些可用的有价值的数据的权限?
所以数据资产一般会有以下功能:
1、数据资产目录
2、数据资产查询、预览
3、数据资产权限申请
4、数据资产使用(API、订阅等)
数据资产好像跟数据地图很类似,但是都是看数据哈。但是你细品一下,区分还是很明显的,数据地图目的是了解数据的来龙去脉,数据资产关注的是有价值的数据是怎么用的,一个是面向生产过程,一个是面向结果使用,一个解决上下游依赖和影响,一个解决数据怎么产生价值。上面我把数据地图类比为公司的物资目录/台账,那数据资产就是当前可用物资列表。
当然啊,现在有些数据中台的产品为了支持庞大的数据资产管理,也会弄一个数据资产地图 ,方便资源的查找。
另外,现在越来越多的数据产品,把数据资产概念扩大化,囊括了数据地图,这个需要注意一下。这个还是阿里的产品,数据资产的功能页面:
如果我还没说清楚,可以在公众号后台留言,咱私聊~~~
配合以下文章享受更佳
干货 | 携程风控数据仓库实践
大数据面试杀招 | Spark高频考点!
你要悄悄学会HBase,然后惊艳所有人(1.7万字建议收藏)
2020大数据Java面试总结(未完待续)
更多精彩,请加v:iom1128,备注:数仓,两大好处:1.可以入群 2.宝藏朋友圈。
入群请联系小助手:iom1128『紫霞仙子』
!关注不迷路~ 各种福利、资源定期分享!