“九步实施法则”保驾护航助力数据治理项目成功(下)

导读

幸福的家庭都是相同的，不幸的家庭各有各的不幸；成功的数据治理项目是相同的，不成功的数据治理项目有很多种原因。企业采取适合自身实施的策略和方法是数据治理项目成功的关键。

本文根据多年的数据治理项目经验，系统介绍数据治理项目实施流程和步骤，针对数据治理项目的九个关键环节进行重点说明。

本文所述数据治理对象主要是针对主数据（配置型主数据或者参考数据、核心主数据）及指标数据，不包含交易数据。本文适合能源化工、装备制造、交通物流、医药、电力、零售及房地产等集团企业相关用户参考阅读。由于一般集团企业往往采用成熟的套装软件（如ERP、PLM、MES、CRM等），交易数据的逻辑模型和物理模型固化到这些套装软件里，所以交易数据的数据模型，数据标准及元数据等内容不在本文的讨论范畴。

上接：“九步实施法则”保驾护航助力数据治理项目成功（上）
3.3定职责

划分和确定数据主责部门和人员的职责分工边界，建立数据认责机制。确定数据治理工作的相关各方的责任和关系，包括数据治理过程中的决策、执行、解释、汇报、协调等活动的参与方和负责方，以及各方承担的角色和职责等。

数据管控原则及分工

1)数据认责：数据认责人对其产生的数据资产的数据标准、数据质量和数据安全最终负责，以数据生成方作为数据认责人。

2)共担职责：由业务部门、信息部门和集团领导共同承担数据管控职责，通过业务、技术和管理通力合作形成配套的完整数据管控方案。

3)分类管控：对通用、专有的数据采取不同管控策略，面向项目不同类型采取不同管控策略。

建立认责管控体系

1)建立认责体系：形成由数据治理负责部门牵头、全员参与的主动认责文化，重视问题的沟通，能够主动剖析和快速响应出现的认责问题。

2)建立认责流程：建立集团统一的数据认责流程，认责流程管理持续优化。

3)建立管理办法：细化和落实各类数据认责流程、管理办法，并成功地将数据认责纳入集团绩效考核体系当中。

4)落实认责模式：执行基于数据域的数据认责模式，数据域的划分清晰且合理，理清各部门、各小组以及各参与人所承担的角色职责，在全集团推广数据域认责。

图7 数据治理认责体系

确定数据管理工作中各类参与部门和人员的职责划分，在数据治理项目建设过程及后期运营管理工作中，参与的部门和人员主要可以划分为以下四类角色：

1)数据主责：对于所管数据域内的数据，具有定义权和解释权，是所管数据域内的数据的权威发布机构，提供数据定义和相关业务规则，提供数据录入指引，提供指标口径。

2)数据录入：有权提出改进数据录入系统的建议，根据数据主责部门的数据录入指引据实录入数据，保证数据的真实性。

3)数据使用：在访问权限范围内使用数据，提出数据质量意见，遵从数据访问权限控制。

4)技术支持：有权决定数据加工实现的技术方式，有权要求数据主责部门进一步明确数据采集加工控制规则，根据数据主责部门的要求建设和完善数据录入系统，建设和完善数据加工系统。

图8 数据治理相关岗位角色

3.4制标准

数据标准体系是数据管理工作的重中之重，通过主数据和数据指标标准化，才能为实现部门和系统间的数据集成和共享，打通企业横向产业链和纵向管控奠定数据基础。

对企业经营活动中所涉及的各类主数据和数据指标，制定统一数据标准和规范及数据模型，建立数据标准的制定方法可参考以下步骤：

1)确定数据模型和编码规则

2)调研、收集各类数据标准

3)分析、优选各类数据标准并提出规划制定建议

4)编制规则征求意见

5)征求部门意见以完善和确认规则

6)提交规则送审稿

图9 数据标准制定流程

数据标准定义工作可以围绕以下几个方面来展开：

1)标准名称：定义数据标准的名称规范，为每项主数据定义统一、准确的名称。

2)业务定义：明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。

3)分类定义：进行主数据的分类定义，以便方便的数据识别和数据使用。

4)编码规则：为各类主数据制定统一、完善的编码规则，保证数据在各信息系统间传递和共享、唯一性的判断准则，最大程度减少数据重复录入。

5)数据模型定义：使用描述属性对各类主数据进行全方位定义，通过主数据基本属性的确定以及填写规范、数据校验规则的设计，保证数据使用过程中的信息一致性，减少歧义。

6)数据管理定义：明确各类主数据标准的所有者、管理人员、管理流程等，从而使数据标准的管理工作有明确的责任主体，以保障数据标准能够持续更新和改进。

7)数据来源：明确各类主数据的数据来源和数据生成的方式，以便制定合理的主数据管理模式。

3.5清数据

清数据即按照数据标准规范，梳理和清洗企业经营活动中的各类主数据，形成标准主数据代码库，其核心工作是主数据的清洗与治理。

建立主数据代码库的过程是按照一定的清洗规则对零散、重复、缺失、错误、废弃等原始数据进行清洗，通过数据清洗保证主数据的唯一、精确、完整、一致和有效，然后分别从数据的完整性、规范性、一致性、准确性、唯一性及关联性等多个维度，通过系统校验、查重及人工比对、筛查、核实等多种手段对主数据代码的质量进行多轮检查，通过高质量的数据清洗形成主数据标准代码库。

数据清洗工作分为以下几个阶段开展和推进，主要包括：A.数据标准宣贯培训、B.数据收集及清洗、C.数据发发布阶段。

图10 数据清洗工作流程

原始数据清洗最繁杂、耗时耗人力、工作量大，需要业务部门人员参与，提供必要的数据工具提高工作效率。这一过程可以划分为以下5个步骤：

1)数据导入：可通过多种方式，将原有系统中的数据批量导入到数据治理管理平台中。

2)清洗规则设置：建立主数据的数据清洗规则，并在主数据系统中进行相应的模板配置。

3)数据清洗与异常数据识别：根据预设规则，对数据字段进行标准化处理，并生成处理报告，定位异常数据。

4)异常数据处理：创建清洗流程，对异常数据进行甄别和处理，生成最佳纪录，提升数据质量。

5)审核与发布：通过预定义的流程管理，对清洗过的主数据进行审核，并将通过审核的数据发布到主数据系统中。

3.6搭平台

搭建数据治理管理平台，实现数据标准文本发布、主数据和元数据的全生命周期管理、数据质量和安全管控等。

1)数据治理管理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑。

2)数据治理管理平台是有效实施主数据、元数据、数据指标管理，提供规范统一的数据服务的平台。

3)数据治理管理平台是实现数据从产生到应用，分层协同、全面治理的核心。

图11 数据治理管理平台与其它系统关系

数据治理管理平台一般包含综合门户、主数据管理、元数据管理、数据资源目录、数据质量管理、数据安全、监控与评价、系统管理等功能，具体架构如下：

图12 数据治理管理平台功能架构

3.7接服务

将数据治理管理平台与各个目标信息系统集成，实现数据的采集、分发等交互操作，从而最终实现主数据服务于业务应用。

图13 数据治理管理平台集成架构

数据治理管理平台与多个统建系统之间的数据采集与数据分发服务的集成应用建设，主要包括以下两方面内容：

1)历史数据/存量数据的集成：主要通过数据集成工具实现，经过数据抽取、数据清洗转换、数据同步导入的过程，实现不同系统的历史数据/存量数据向主数据系统的集成过程。

2)新增数据/动态数据的处理：通过主数据新增/修改的流程规范，实现自动化处理+人工监察干预的方式，实现新增数据的采集，并通过数据服务总线实现数据治理管理平台向其他系统的数据发布或其他系统对数据治理管理平台的数据订阅。

图14 数据治理管理平台服务架构

实现企业信息系统的数据集成和应用，基于企业服务总线，实现与如人力资源、财务、生产经营等系统的数据集成应用。

图15 主数据订阅和分发示意图

3.8建体系

数据治理管理平台上线运行后，在业务和技术层面继续提供后续支持保障，成立数据标准化运营组织，明确各岗位职责，结合企业实际情况制定数据管理制度、数据管理流程及数据管理维护细则等，建立企业运维体系，为数据的长效规范运行奠定坚实基础。

图16 数据治理运维体系

运维体系由组织、制度、流程、知识库、平台等组成，建立适合企业的维护组织保障体系，确保主要的数据在总部都有对应的业务牵头部门。

图17 数据治理制度管理流程

制定数据管理办法、制定应用考核规范、应急预案（制定服务级别管理、服务报告管理、事件管理、问题管理、配置管理、安全管理、连续性和可用性管理）、运营管理关键指标考核、运营监控管理及相关管理制度；确定各类数据的维护流程；保证运维的高效性和资源共享，建立运维知识库；统一的数据治理管理平台做支撑。

图18 数据治理相关管理办法

数据治理日常工作内容

1)需求和问题管理：从需求和问题的提出到需求和问题的汇总、分析、归类再到问题的归属（责任人）、解决及反馈的全过程闭环管理。

2)数据过程管理：指数据相关标准的申请-审核-发布的全过程管理；主数据代码体系表的日常维护；数据质量日常检查和监控；主数据代码编制与修订。

3)数据的标准服务与支持：对各个应用系统的主数据服务支持工作进行规范，以标准化、规范化的模式对相关项目的主数据进行服务和知识传递，如对ERP、HR等系统的数据服务和支持，如何按照标准化的流程进行管控。

4)数据标准化应用与考核：辅助信息化部门对标准化相关工作进行管控；项目建设过程中标准化使用情况的考核以及项目投用后标准应用的情况考核。

5)知识库建立：问题处理过程中、运维过程中形成的规范性文档、模板、规则、用户手册等。

3.9促应用

数据应用管理是保障主数据落地和数据质量非常重要的一环，数据应用主要包含4部分内容：明确管理要求、实施有效的管理、强化保障服务和存量系统主数据代码转化和切换。

1)明确管理要求：制定数据应用管理制度规范，对数据的应用范围、应用规则、管理要求和考核标准做出明确规定，并以此为依据，对主数据应用进行有效管理。

• 应用范围：每一类主数据都要有适用范围的规定，具体应用时必须按照适用范围来执行，对应用中出现的不适用的情况要有应对机制。

• 应用规则：包括数据同步规则、代码映射、归并和转换规则、异常处理规则等，对代码映射、归并和转换规则，要有相应的原数据定义和记录。

• 管理要求：包括管理岗位和职责、管理流程、管理指标和考核要求。

• 考核标准：规定数据应用考核标准，包括覆盖度、准确度、及时性、有效性、安全性等。

2)原有信息系统制定数据切换路径和推广应用策略计划，项目成果能在未来2-3年里集团组织的范围内各层级信息系统得到全面应用和推广。

图19 原有信息系统制定数据切换策略

3)主数据5种应用方式

图20 主数据5种应用方式

结束语

数据治理项目不单单是搭建一个集团级数据治理管理平台，而是一项长期而复杂的工程，涉及到数据管理体系、数据标准、数据治理管理平台、数据质量和安全、相关系统升级改造、数据清洗等多个方面，项目建设依据快速见效、急用先建的思路，先整体规划，以数据模型和数据标准为基础，以数据治理管理平台为载体，并开展数据治理专项工作，确保数据治理项目的成功，为实现有效的数据资源整合夯实基础。

数据治理系列文章预告第三篇: 项目启动大会,数据治理项目不容忽视的关键节点第四篇: 组建项目团队,数据治理项目重要的环节第五篇: 制定物料分类标准常见方法和工作流程第六篇: 数据清洗策略和步骤方法第七篇:存量系统主数据代码转化难点的剖析和应对措施第八篇: 主数据服务5种场景第九篇:资产密集企业数据治理难点和建设思路作者简介

蔡春久，某公司数据业务负责人。中国数据标准化及治理大会组委会评为“ 中国数据标准化及治理专家”十个专家之一 。中国大数据技术标准推进委员会数据资产专家、中电标协企业信息标准化委员会常委委员、eCl@ss协会会员（国际产品分类标准化组织）、中国数据工匠俱乐部发起人。工商管理硕士，具有20年的特大型集团企业IT咨询服务和数据治理行业工作经验，前十年主要从事物资采购变革与管理、PLM、ERP、MES等领域咨询服务，近十年专注数据治理及标准化、数据架构、智能工厂等咨询工作，为中国石化、延长石油集团、晋煤集团、恒力集团、国投集团、中国外运、新兴际华集团、中国兵器工业集团、中国一重、哈电集团、河南投资集团、陕西投资集团等80余家500强的集团企业的提供数据治理相关咨询服务。

联系我们

扫描二维码关注我们

微信：DaasCai

邮箱：[e-mail]

QQ：174856958

热门文章

我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、提高企业数据质量、推动企业走进大数据时代。

我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。

我们的价值观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工匠俱乐部

微信号：zgsjgjjlb

专注数据治理，推动大数据发展。