这段时间实施很多地方数据治理项目,交付都在反映一个问题:数据标准实施中的数据集和代码集实施工作量巨大。随着大数据的持续升温,数据资产管理近年来成为政府和企业领导层特别关注的领域。尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更是寥寥无几。笔者有幸参与了国内工信部数据资产标准的制定,在未来几年,数据治理将会越来越重要,本篇文章想从数据标准这个角度和大家分享一点自己的见解和心得。
要搞清楚数据标准的建设意义和作用,首先就要清楚数据资产管理是做什么的。按照DAMA的定义,数据资产管理是企业或组织采取的各种管理活动,用于保证数据资产的安全、完整、合理配置、有效利用,从而提升经济效益。重视数据资产管理、运营、流通可以为企业带来未来经济利益,同时这也是数据保值增值的重要手段。数据资产运营流通是使数据资产流动和发挥价值的核心,它将推动数据价值创造模式的不断创新,从根本上改变企业管理、社会管理和政府治理的发展趋势。
业界经常将数据资产管理和数据管理、数据治理交换使用,严格的说几个名词之间还是有一定区别的。简单来说,数据资产管理并非全新的概念。从实践落地的角度看,数据治理是基础和主干部分,再加上关于数据价值评估和管理的内容就是数据资产管理的全部范畴。一个拥有大量数据的企业,要发挥其数据的价值必须整合和加工现有或新建的各种信息系统或者业务应用中的数据,并通过将处理过的数据嵌入到业务流程中,实现智慧化生产、智慧化管理。数据资产管理就是在上述从数据产生到数据整合、加工、使用的端到端价值实现过程中,管理各个环节的数据定义、格式、值域范围、业务规则、加工逻辑,安全权限以及数据之间的加工依赖关系等一系列事项。数据资产管理的目的是让数据的使用者能够清楚地认识数据和数据关系,进而能够用好数据;让数据应用的管理者能够洞察数据、应用、系统之间的复杂依赖关系,进而能够管好数据。
数据资产管理领域中有两样事情都与数据定义相关:数据标准和数据模型。这两项工作一个负责给数据下定义,另一个负责描绘数据关系。这两件事情在政府(目前政府还没有那么重视或者不知得如何重视)和企业中会被高度重视并完成,动力源于大数据时代“数据整合”的需求。结合最近实施的一些项目经验来给大家阐述一下为什么数据整合的时候需要数据标准。拿政府来说,公安和社保各自都有自己的人口信息管理,分别管理自己的业务形态,当区域政府要进行数据整合的时候,两个系统的人口信息都会进行存在一张“人口信息表“,其实这个就是政府在电子政务领域一直推崇的信息资源目录,其实也就是在建立数据标准。
那么要建立一个数据管理平台,统一存储各个委办局全部的交换信息时,“人口表”该如何创建?这就需要创建“人口基本信息标准”来整合政府内部不同部门业务系统产生的人口信息。数据标准化的过程其实就是在数据管理平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。一个政府内部的数据标准化方式是如此,一个政府垂直部门在采集整个监管和服务行业数据时的数据标准化过程也是如此。例如,最高人民法院在向全国各省法院采集明细数据的XML接口,事实上就是法院基础数据标准;国务院或者发改委在向全国省、市、县区域政府采集政务信息系统共享明细数据的XML接口,事实上就是电子政务服务基础数据标准。所以,数据资产管理的第一步就是要梳理清楚企业拥有哪些数据,并整合数据。而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。大家都知道,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用,统一和系统化的过程。而在这个过程中,首先就要梳理数据产生和应用的全部范围。对于一个企业来讲,这往往意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始。那么对于扩大的场景,例如建设某个行业的数据标准或者是某项政府数据标准又该如何开展工作呢?
通过针对大量项目实施情况,数据标准可以基于一套基于活动、对象、关联的BOM方法论来实施。其中B – Bussinse代表政府或企业业务范围和职责范围;O – Object ,是参与主体和活动产生的实体对象; M – Model 意指主体/对象之间的关系。
无论是企业还是政府,都是由大大小小的社会活动和行为构成的,而参与这些行为和活动的正是各种类型的社会主体,并且在活动过程中创造并产生了各种对象,包括生产出来的产品、签署的合同、记录行为的各种凭证、登录应用的账号等等。这些对象也因为活动和行为而产生了各种连接关系,在数据建模的领域里称之为对象间关系。假设今天我们有一个巨大的生产系统可以将人类的每个活动/行为全部IT化,系统化,那么这个系统中产生的数据就是要建设的数据标准的全部范围。通俗理解BOM方法就是指:依据所要构建的数据标准覆盖的业务范围,梳理这些活动中涉及到的全部Objects(主体或对象),以及Objects之间的关联关系。构建数据标准的过程,就是定义Objects和Bussinse的组成要素(政府叫数据元,有些叫信息项,在技术层面统称为元数据),并通过数据模型刻画实体对象之间的一对一、一对多和多对多关系的过程。因为数据标准涉及到的实体对象存在很多,为了方便建设和记忆,往往采用的是顶层设计的梳理方法:首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系;再逐级分解,定义各个主题域下的重要实体和实体间关系;最后定义每个实体中的标准信息项,包括业务含义、质量规则、安全级别、值域范围、代码集等内容。
数据标准在原业务系统和新业务系统使用模式
数据标准的建设BOM方法并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制度章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中。对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。
(本文来源摩兔起航)
<END>