数据治理 | 元数据管理实践

zhisheng 数据仓库与Python大数据 2022-11-29

收录于合集

#数仓之路 45 个

#学习路线 39 个

#面试系列 21 个

#数据仓库 46 个

导读：元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。

这个定义很难懂？请看以下两篇文章：

☞Apache Atlas | 元数据管理框架

☞元数据解释的最通俗易懂的文章

— 01 —

企业数据治理的现状与问题

企业架构理论体系中，数据架构始终是企业架构的核心组成部分。TOGAF企业架构框架定义了数据架构位于业务架构与基础技术架构之间，通过数据架构的治理实现的业务和应用的有效斜街。

数据架构基线

数据架构梳理
数据架构优化
数据实体关系
概念数据模型
逻辑数据模型
物理数据模型

数据架构关系

业务流程与数据流向
业务功能/数据关系矩阵
应用/数据关系矩阵
数据架构展现与变更管理平台

数据管理

数据分布管理
数据质量管理
数据容量管理
数据迁移……

企业数据资产管理的常见问题

数据架构失控
元数据管理混乱
数据标准缺失
数据质量参差不齐
数据增长无序
数据安全问题突出

问题集中于系统变更频繁、积木式迭代、烟囱式建设：

一、企业的IT系统经历了数据量高速膨胀的时期，但大多数据企业最初没有对数据架构重视，导致企业海量的、分散在不同角落，企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统，系统与系统之间的关系、标准数据从哪里获取都无从知晓。

二、传统企业的数据资产问题归根到底是由于企业中对企业数据缺少统一而有力的组织、制度、流程的管控，引起的“数据孤岛”问题。

— 02 —

企业数据运营的常见问题

企业数据运营中经常遇到的各种各样问题，如下图：

怎样快速找到想要的数据：已存在系统，有哪些关键业务数据？它们在哪里？报表A指标值怎么算出来的？原始数据从哪得到的？
数据标准如何定义：关键业务数据在不同系统的业务定义？它们的数据结构是怎样的？同一实体在不同系统中的命名规则及其他属性一致？同一实体与本系统或其他系统对象是否存在依赖关系？具体的依赖关系描述是怎么样的？
如何梳理出上下游关系：随着业务快速发展，数据生产链路逐渐变长，生产关系越来越复杂，如何准确高效的梳理出数据间、任务间的血缘关系，识别出关键生产链路？
数据治理靠什么来驱动：如何驱动资源治理、规范治理等，以及如何衡量治理效果？
数据资产的管理问题：海量的数据资产的归属、分级分类，识别隐私数据等管理问题如何解决？一旦对象定义发生变化，其他开发团队会不会有影响？数据实体所有者是谁？谁作过修改或变更？

这些问题，或许元数据管理能够帮助到您！

— 03 —

元数据管理是数据治理的重中之重

元数据管理是数据治理工作是重重之重，为什么企业内部的数据质量总是不高？其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的管理流程来提高企业数据质量，其中最核心的核心就是元数据的管理。

数据运营之元数据的重要性

元数据是企业中用来描述数据的数据。它可理解为比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类型、名称、值等信息，它可以进一步提供数据的上下文描述信息，比如数据的所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。在数据分析中，元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据。

元数据提供企业数据DNA

有用的数据在哪里
提供一份数据结构定义和元素的详细示意图
数据来龙去脉、关系
数据质量审计
减少数据冗余性，增加数据共享,
使应用开发过程更有效
参照性、引用性、血缘分析、影响分析、变化分析...
利用数据解决企业问题的能力

— 04 —

元数据管理范围和目标

一般而言，就数据仓库或者大数据平台中的元数据可以按不同的维度分为技术元数据、业务元数据、操作元数据等，元数据管理的范围大致如下三个方面：

元数据源：元数据源数据仓库和数据平台中的数据实体定义和结构信息。
数据接口：生产系统和操作型系统中采集到数据仓库或者数据平台中的各中数据接口信息。

报表展现（BI）：报表展现的相关指标和统计口径。

数据集成（ETL）：数据汇总、处理和分析的数据集成相关信息。

元数据管理目标

— 05 —

元数据管理系统

元数据系统整体分为接收层，服务层，存储层和应用层。左右两侧分别是主要接入方和应用方，接入方主要包括了大数据引擎、管理工具、开发平台及工具，应用方主要包括数据地图、开发平台、治理平台等。

接入层：适配不同元数据生产方，转换成标准定义，输出全种类实体、关系变更消息。
服务层：基于存储层提供单点、复杂查询服务，基于分析引擎提供分析服务。
存储层：基于图模型的实体、关系的存储与查询，支持统计与分析能力。
应用层：提供数据资产地图、数据搜索、全链路血缘等功能。

图：元数据管理架构（来源：快手）

基于元数据系统的数据资产搜索能力对各类数据建立数据索引，方便搜索引擎快速找到这些数据，同时搜索引擎提供了根据相关性、元信息完善度、依赖数量、运营规则进行智能排序，帮助用户用户快速找到所需数据。

图：数据搜索的原理（来源：快手）

在这个过程中，用户的点击率、负反馈率等操作行为数据反馈给搜索引擎，利用这些用户行为数据，可以优化搜索索引和排序规则。

元数据系统提供了全链路血缘功能，提供实时血缘查询能力，解决数据来源不容易确定、难以评估数据变动造成的影响等问题。元数据中的血缘关系在数据生产加工、数据治理中也有广泛的应用场景。

下图是通过一个简单的例子介绍血缘是如何构建起来的。主要会使用到元数据中表示关系的属性，例如输入、输出、绑定、关联等。

图：全链路数据血缘（来源：快手）

除了上面应用场景外，元数据还有以下应用场景：

元数据查询：开发平台、指标模型管理、BI工具等通过元数据服务查询库表信息。
资产管理：通过系统采集的元数据信息，对数据资产进行集中管理，设置生命周期、安全等级等关键属性。
影响分析：支持查询当前节点全部下游，支持变更通知模块根据影响范围进行变更消息的发送。
价值评估：数据资产价值评估模型通过元数据中心提供的丰富的元数据得以落地。

— 06 —

元数据给企业带来的收益

提供一份企业级的详细应用、数据定义和元素的详细地图，有利于企业的数据应用人员进行数据分析。
制定企业元数据标准，减少数据冗余性，增加数据共享，使应用开发过程更有效，开发费用更低、避免异构结构定义、提高不同工具之间定义的重复利用率。
帮助用户理解数据来龙去脉、关系及相关属性，统一所有报表的统计口径，减少数据冲突。
数据血缘分析，为数据分析提供直观的数据处理先后逻辑，协助提升数据质量。
数据影响分析，帮助用户识别数据实体会影响的相关处理过程和报表，有利于增强企业运营效率、规避错误及风险。
通过元数据变更，自始自终确保元数据的准确性和权威性。

写在最后

元数据管理能够增强数据理解，可以架起企业内业务与IT部门之间的一座桥梁，无论是企业的业务部门还是IT部门，很少能完整的拿出一套企业各项数据的业务含义、口径、技术标准、分布情况等的说明，使用元数据管理可以自动化的获取整个企业的数据业务含义，帮助理解数据，增加分析的敏捷性。使用元数据管理系统能够方便内部管理、审计或外部监管的需求追溯业务指标、报表的数据来源和加工过程，追述数据的来源；同时还可以针对企业内部、外部的数据需求，快速建立业务与技术之间的衔接，敏捷应对企业用数需求。

扩展阅读：数据中台资料已为读者朋友准备好了，点击下方公众号“数据仓库与Python大数据”后台回复“数据中台”，即可下载。

回复：OneData，领取ppt资料

回复：06，领取阿里巴巴大数据之路pdf

♤数仓深度 | 数据脱敏方式与应用

♤大数据ETL工具 Kettle 入门实践

【数据治理】：☟