查看原文
其他

什么是数据标准?如何做好数据标准管理落地?

歪老师 数据学堂 2022-11-08

通俗地讲,对企业来说,数据标准就是对数据类型、长度、归属部门等定义一套统一的规范,以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。

01  什么是数据标准?
数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。(详见:6000字详解数据治理之数据标准管理


而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供管理依据。

对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。
从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。
JR/T0105-2014 银行数据标准定义规范:标准是指为了在一定的范围内获得最佳秩序,经协商一致制定并由公认机构批准,共同使用的和重复使用的一种规范性文件。
数据标准是指对数据的表达、格式及定义的一致约定,包括数据业务属性、 技术属性和 管理属性的统一定义。业务属性包括中文名称、业务定义、业务规则等,技术属性包括数据类型、数据格式等,管理属性包括数据定义者、数据管理者等。
下图是《银行数据标准定义规范》JR/T 0105-2014中关于“担保种类”的数据标准定义示例:


02  数据标准有哪些分类?
数据标准管理的对象可以分为数据模型、 主数据和参考数据、 指标数据三大类,每一类均可采用以数据元为数据标准制定的基本单元构建数据标准体系。
1、 模型数据标准
基础数据指业务流程中直接产生的,未经过加工和处理的基础业务信息, 模型数据是指对基础类 数据特征的抽象和描述。
模型数据标准是为了统一企业业务活动相关数据的一致性和准确性,解决业务间数据一致性和数据整合,按照数据标准管理过程制定的数据标准,模型数据标准也是元数据管理的主要内容之一。
以下是某银行为确保数据标准使用,形成的一整套模型数据标准的信息项属性架构:


下图是某运营商数据仓库DWD模型层常用数据元的标准定义示例:


图是某运营商数据仓库DWD层数据元后缀规范示例:


2、主数据和参考数据标准
主数据是用来描述企业核心业务实体的数据,比如客户、供应商、员工、产品、物料等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,被誉为企业的“黄金数据”。
参考数据是用于将其他数据进行分类或目录整编的数据,是规定数据元的域值范围。参照数据一般是有国标可以参照的,固定不变的,或者是用于企业内部数据分类的,基本固定不变的数据。主数据与参照数据的标准化是企业数据标准化的核心。

3、 指标数据标准
指标类数据是指具备统计意义的基础类数据,通常由一个或以上的基础数据根据一定的统计规则计算而得到。
指标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标准。基础指标具有特定业务和经济含义,且仅能通过基础类数据加工获得,计算指标通常由两个以上基础指标计算得出。
以下是某银行为确保指标数据标准定义的完整与严谨,形成的一整套指标数据标准的信息项属性架构:


以“拨备覆盖率”指标为例,从数据标准化的角度来看,首先需要定义其业务含义,以明确其定位和用途,统一业务解释;同时通过技术属性明确其指标技术口径和取数规则等,确保指标数据计算结果的一致性。这样,在整个银行层面,统一了“拨备覆盖率”的业务口径和技术口径,最终确立了其使用规范。


指标数据标准可以从 维度、 规则和 基础指标三个方面进行定义:


并非所有模型数据、 主数据和参考数据、 指标数据都应纳入数据标准的管辖范围。数据标准管辖的数据,通常只需要在各业务条线、各信息系统之间实现共享和交换的数据,以及为满足监控机构、上级主管部门、各级政府部门的数据报送要求而需要的数据。
《数据标准管理实践白皮书》将数据分为 基础类数据指标类数据,数据标准也可以分为 基础类数据标准或 指标类数据标准,这种划分方法中的基础类数据其实等于模型数据+主数据+参考数据,因此不存在本质的区别。

03  为什么要做好数据标准管理?

企业下分支各自都有自己的信息管理系统,分别管理自己的业务形态,当总公司要进行数据整合的时候,几个系统的信息都会进行存在一张信息表中,其实这个就是在建立数据标准。

那么要建立一个数据管理平台,统一存储各个分支全部的交换信息时,信息表该如何创建?这就需要创建信息标准来整合企业内部不同部门业务系统产生的信息。

数据标准化的过程其实就是在数据管理平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。

所以,数据治理的第一步就是要梳理清楚企业拥有哪些数据,并整合数据。而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。

可以说,数据标准是数据管理的基础性工作,是数据管理建设中的首要环节,具体主要体现在以下几个方面:

(1)数据标准为数据平台提供统一的数据标准定义和平台逻辑模型;
(2)数据标准是数据平台进行
数据治理的依据和根本;
(3)数据标准是衡量数据平台
数据资产运营和管理的评估依据;
(4)需要通过数据标准管理的实施,实现对数据平台
全网数据的统一运营管理。

数据标准管理是规范数据标准的制定和实施的一系列活动,是数据资产管理的核心活动之一,对于政府和企业提升数据质量、厘清数据构成、打通数据孤岛、加快数据流通、释放数据价值有着至关重要的作用。

如何构建数据标准,详见:如何建立数据标准实现数据资产管理?


04  数据标准的组织架构是什么?
《数据标准管理实践白皮书》给出了数据标准管理组织架构建议,即将数据标准管理组织划分为数据标准决策层、 数据标准管理部门、 数据标准执行层。
据标准决策层是企业数据标准管理的最高决策组织,主要职责是组织制定和批准数据标准规划、审核和批准拟正式发布的数据标准、协调业务和IT资源,解决在数据分类规划、体系建设、评审发布、执行落地中的全局性、方向性问题,推进企业整体开展数据标准化工作。
数据标准管理层是企业数据标准管理的组织协调部门,主要职责是根据业务需求,组织业务和IT部门,开展数据标准落地工作组织业务部门和IT部门参与数据标准管理相关工作,并推进数据管理工作的进程,同时及时将数据标准管理过程中的成果或问题报决策层审批。
数据标准执行层是指具体开展数据标准编制和体系建设的数据标准管理部门,通常由数据标准管理专家、相关业务和IT专家组成,主要职责是解决编制数据标准、推进数据标准落地工作中的各类具体业务问题和技术问题。

以下是银行业的一种数据标准组织示例(引自2019年数据资产管理大会)。



05  数据标准如何落标?
数据标准的落标需要重点考虑三大问题:
问题1. 什么数据需要制定哪些标准
问题2. 什么系统落什么标准
问题3. 什么人与什么时间执行

如果这三个问题没有想清楚,基本数据标准的梳理会停留在Excel层面,标准的政策会停留在墙上,无法走入每个设计者的头脑和每个系统的每个字段。
第一个问题,什么数据需要制定标准,首先回到数据标准所要解决问题的初衷,数据标准主要解决数据在共享,融合,汇集应用中的不一致问题。那么看哪些数据会出现在这个这三个环节中,以及哪些容易出现问题。
对于与一个企事业组织来说,按照价值链,一般关注三大要素:客户,产品,大运营。举例来说,将银行业划分为九大概念数据,也是围绕客户与产品的大运营活动细分。
那么有如下几类数据会在数据应用过程中,会更多出现融合和汇总的机会,需要格外注意。


第二个问题和第三个问题是实际工作中非常困扰的,落标的大多数困难与此有关,因此将其放在一起来说明,一般将系统与数据分列如下列表:


通过这个表格的内容,可以发现数据标准从源头落地,会减少数据的处理成本,提高数据应用的效益,缺点是对于存量系统和外购系统存在较大改动风险和成本。
如果从数据的仓库层进行落标,比较容易着手处理,落标后的下游数据系统则自动统一数据标准,然而数仓层的报表应用与业务系统的报表存在口径不一致性在所难免,仍然需要源数据层进行必要调整。无论从哪一层入手,模型的优良设计环节都是必要条件,否则整个落标过程会没有抓手,流程将不顺畅。
国内某银行建立了一套数据标准体系框架,管理全行数据标准,形成了以科技战略委会员领导下的数据标准化小组为管理组织,涵盖标准定义、执行、监督评审等各个环节的良性数据标准闭环工作机制与流程,并配套管理制定和工具的建设。


其中包括建立基础数据标准600余条,覆盖了公用信息、产品、协议、资产、事件、渠道、参与人、财务8个主题的核心数据,建立代码数据标准200余条,将数据标准实施落地,保障核心数据的规范性和一致性。该系统的建设显著提升了向监管报送的数据质量,大大减少了IT部门数据质量处理任务工单,提升了取数效率。
数据标准落地方法,详见:数据治理连载漫画:数据标准如何落地?

<END>


大家都在看:
1、大数据能力平台建设方案(PPT)
2、数据治理运营整体解决方案(PPT)3、华为数字化转型:从战略到执行(PPT)4、3个案例看数据分类分级如何落地应用5、数据标签的分类、设计及实现方法6、9000字详解企业大数据项目规划落地实施路线图7
30页PPT读懂DAMA-DMBOK2.0数据管理知识体系指南核心精要8湖仓一体架构构建与平台应用实践(PPT)
9、8000字详解银行业数据治理架构体系搭建10、3万字详解数据中台、数据仓库、数据库、和数据湖(上)11、企业数据资产盘点原则与方法12、德勤:集团主数据管理方法论(PPT)13、企业大数据平台顶层规划设计方案(PPT)14、美的集团数字化转型案例分享(PPT)15、
9000字详解用户画像标签体系建设指南



数据学堂


欢迎扫码添加歪老师个人微信(data-school),邀请加入数据学堂数据治理专业微信群,与业内大咖一起识数据、存数据、管数据、治数据、用数据!


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存