如何成功打造一个数据治理项目？
The following article is from 数据工匠俱乐部 Author 蔡春久
正文开始
幸福的家庭都是相同的，不幸的家庭各有各的不幸；成功的数据治理项目是相同的，不成功的数据治理项目有很多种原因。企业采取适合自身实施的策略和方法是数据治理项目成功的关键。
本文根据多年的数据治理项目经验，系统介绍数据治理项目实施流程和步骤，针对数据治理项目的九个关键环节进行重点说明。
本文所述数据治理对象主要是针对主数据（配置型主数据或者参考数据、核心主数据）及指标数据，不包含交易数据。本文适合能源化工、装备制造、交通物流、医药、电力、零售及房地产等集团企业相关用户参考阅读。由于一般集团企业往往采用成熟的套装软件（如ERP、PLM、MES、CRM等），交易数据的逻辑模型和物理模型固化到这些套装软件里，所以交易数据的数据模型，数据标准及元数据等内容不在本文的讨论范畴。
一数据治理项目建设原则和指导思想
一个大型集团企业数据治理项目往往需要2-3年建设周期,分几个阶段才能实施完成，所以一般采取“整体规划、分期实施、试点先行、逐步推广”的建设原则，循序渐进，化解风险，保证整个项目的实施成功，确保数据规划与企业发展战略的和谐统一。数据治理项目规划和设计符合企业总体和长远需求，项目实施按照总体规划和每一期目标稳步推进相结合的原则。
一般项目具体指导思想如下：
1)标准化体系规划先行：首先进行专业和前瞻性的数据治理蓝图规划；
2)试点先行、分步实施、有序交付：按照“先试点后逐渐扩充”思路循序渐进，采用分步实施和交付原则，有序推动数据治理项目建设；
3)先总部共性数据标准建设，后各专业板块专业领域标准建设；
4)选择成熟软件产品：选择市场上主流的套装成熟数据治理软件产品，能够覆盖企业的大部分业务需求，减少实施周期并确保交付质量；
5)业务部门深度参与和主导，信息部门统筹管理和平台建设：推动企业财务部、人力资源部等业务部门以及下属企业对数据治理项目的深度参与，尤其是标准建设阶段和数据清洗阶段，业务部门应该主导，信息部门统筹管理和平台建设。
二项目建设阶段和实施步骤
一个完整的数据治理项目包含项目准备、现状调研与分析、标准体系构建、数据平台搭建、数据清洗、数据服务集成、运营体系建立等7个阶段，共28个实施步骤。
图1 数据治理项目实施阶段和步骤
PH1第一阶段：项目准备阶段
T01制定项目章程：确定项目目标、数据对象、试点企业及目标系统集成范围和建设内容，制定项目计划等作为项目验收的依据。
T02组建项目团队：确定项目的组织机构、人员的配置、项目的组织资源管理、组织职责。成立以企业高管领导为组长和各业务部门一把手组成的项目领导组、项目管理组和以业务部门和信息部门关键用户的项目实施组。
T03标杆企业对标分析：选取组织架构、业务范围类似的优秀企业作为标杆进行对比分析，取优补劣，为数据治理建设项目提出方向。借鉴标杆企业的成功和失败经验，避免走弯路。建议通过实地考察和交流形式。
T04召开项目启动会：数据治理项目启动大会非常重要，不容忽视，是动员会，又是分工会，同时也是培训会。启动会是数据治理项目良好的开端，项目启动会顺利召开，起到事半功倍的效果，为后续顺利展开工作奠定坚实的基础。
PH2第二阶段：现状调研与分析阶段
T05制定调研方案：制定落地的、高效的调研方案，包含调研计划、访谈提纲及项目调研问卷等。
T06业务需求调研：通过资料收集、业务现状调研、关键用户访谈等方式了解当前数据管理现状和主要需求、发现数据相关问题和关注点。
T07信息系统需求调研：对企业现有的信息系统中数据标准、数据质量现状进行分析，找出需求点。
T08现状和需求分析：结合企业据管理应用现状和存在问题，做差异化分析，形成《现状调研与需求分析报告》
PH3第三阶段：标准体系建设阶段
数据标准建立过程，业务部门要主导参与，外部咨询公司提供指导和咨询。
T09数据治理蓝图规划设计：规划数据治理蓝图，主要包含四个架构体系：数据标准化架构、数据管控架构、数据质量体系及数据安全架构。
T10主数据标准制定：主数据相关标准建立，包含业务标准（编码规则、分类规则、描述规则等)和主数据模型标准。
T11数据指标标准制定（可选项）：建立企业统一的数据指标体系定义数据指标内容，整理指标的业务属性、技术属性和管理属性，构建指标关系体系和分析体系，为企业经营和管理工作提供准确、可靠的决策支持。
T12数据模型设计（可选项）：对于非套装软件能覆盖的业务领域，主要针对交易数据而言的，数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型三种类型。
PH4第四阶段：数据治理管理平台搭建阶段
搭建数据治理管理平台，实现数据标准文本发布、主数据和元数据的全生命周期管理、数据质量和安全管控，实现数据的统一、集中、规范管理，提高数据质量和增强信息共享。
T13需求确认：根据前期调研成果，分析企业数据治理管理平台与系统标准功能的差异，形成数据治理管理平台需求规格说明书，同时编制二次开发需求规格说明书，作为系统开发的依据。
T14数据治理管理平台客户化开发：搭建数据治理管理平台，完成与相关业务系统的接口开发，实现主数据的在线申请、审批、分发等功能。
T15数据治理管理平台实施：数据治理管理平台的安装、系统配置、数据建模和数据导入及权限设置工作。
T16系统整体测试：系统在测试环境完成会议室导航测试（CRP）。
PH5第五阶段：数据清洗阶段
T17数据清洗与治理方案：根据项目范围和对象制定数据清洗方案和清洗计划。
T18数据清洗规则和标准建立：建立数据清洗规则和标准。
T19数据清洗、处理和数据确认：根据主数据标准对历史主数据进行清洗、排重、合并、编码，保证主数据的完整性、准确性和唯一性。
T20数据入库、建立标准代码库：形成一套规范的、可信任的主数据代码入库，建立标准代码库。
PH6第六阶段：数据服务集成阶段
将数据治理管理平台与各个目标信息系统集成，实现主数据的采集、分发等交互操作，从而最终实现主数据服务于业务应用。
T21集成架构设计及方案确认：根据系统集成的整体设计，实现不同统建系统与主数据系统的集成应用：接口策略配置、属性映射配置、分发/订阅条件设置、日志跟踪管理、数据同步管理。
T22数据平台集成接口开发：目标系统的接收端程序开发，服务总线挂接等相关集成工作，保证数据治理管理平台与相关系统无缝对接。
T23试点系统改造和接口联调：目标系统相关改造和集成接口联调（数据治理管理平台与目标系统的接口联调）。
T24系统上线测试及用户培训：系统管理员及主要用户进行培训，确保培训人员能够正确操作使用系统各项功能。
PH7第七阶段：运营体系建立阶段
建立数据治理管理运营组织，制定数据管理办法、维护细则、应用考核规范等管理规范。
T25建立数据治理运营体系：建立数据治理日常运营体系，运维体系由组织、制度、流程、知识库、平台组成。
T26贯标培训和知识转移：通过组织各种方式培训和交流，达到有效的知识传递，关键用户和内部IT全职参加项目，在实践中帮助企业培养一支有战斗力的实施和运维团队。
T27制定数据切换路径和推广应用策略：制定数据切换路径和推广应用策略计划，项目成果能在未来2-3年内集团组织的范围内各层级和各级信息系统得到全面应用和推广。
T28运维支持和项目验收：系统后续支持、交付文档编制、项目的总结及验收。
针对一个100亿规模的集团企业，数据治理项目建设周期一般需要2-3年，建议每期项目周期为8个月左右时间。
但往往很多企业，为了规避项目风险，降低项目难度，可以将项目拆成几个子项目，如：数据治理咨询项目，主数据标准项目、数据指标标准梳理项目、数据治理管理平台建设项目、物料主数据清洗项目等。企业要结合自己企业文化和管控力度，灵活的采取适合自身的实施方案。
三九步的实施法则
数据治理项目最核心、最关键的是以下9大步骤的实施法则，需合理有序的逐步推进。
1)理需求：通过现状分析及需求调研，对数据管理现状进行诊断分析，形成需求分析报告；
2)划蓝图：规划数据治理蓝图，主要包含四大架构体系：数据标准化架构、数据管控架构、数据质量体系架构、数据安全架构；
3)定职责：划分和确定数据主责部门和人员的职责分工边界，建立数据认责机制；
4)制标准：对企业经营活动中所涉及的各类主数据和数据指标，制定统一数据标准和规范及数据模型；
5)清数据：按照数据标准规范，梳理和清洗企业经营活动中的各类主数据，形成标准主数据代码库；
6)搭平台：搭建数据治理管理平台，实现主数据全生命周期的管理；
7)接服务：将数据治理管理平台与各个信息系统集成，从而使得数据服务于业务应用；
8)建体系：建立数据治理管理运营组织，制定数据管理办法、维护细则、应用考核规范等体系化的管理规范；
9)促应用：通过贯标培训和知识转移，制定数据切换路径和推广应用策略，项目成果能在组织的范围各层级和各级信息系统得到全面应用和推广。
通过现状分析及需求调研，对数据管理现状进行诊断分析。通过调查表格下发及反馈、资料收集及分析、业务现状调研、关键用户访谈、信息系统数据应用现状、对标标杆案例研究和考察、咨询公司知识库七种方法，分析出用户的期望与当前的差距，在数据标准、流程、管理组织、系统实现等方面进行关键发现和改进建议。
图2 现状调研与需求分析
1)资料收集与分析：能够了解各相关部门和下属公司的数据管理现状，并且通过结合调研问卷和访谈结果，制定全面的、为客户量身定制的数据规划策略。该方法的关键步骤包括：企业内部数据标准、制度收集，梳理问题反馈、总结访谈纪要，收集相关增补资料。
2)关键业务过程调研与分析：明确横向业务之间、总部与下属单位纵向之间数据关联关系、数据共享需求，帮助项目组初步了解当前数据管理现状和主要需求、发现数据相关问题和关注点。该方法的关键步骤包括：了解企业内部各类数据标准、制度和流程情况，了解各系统数据情况，了解主数据管理现状和业务关注焦点。
3)信息系统数据应用现状：对信息系统数据质量、数据标准现状进行分析，找出需求点。
4)关键用户访谈：深入了解当前主数据管理现状和管理水平，进行问题诊断，并识别对主数据管理的主要诉求。针对不同的主数据分类内容，对相关业务部门人员进行现场访谈。
5)标杆案例对标分析和考察：调研同行业相关领先企业的数据管理体系，通过实地考察和交流标杆企业数据治理管理平台建设、应用情况，充分借鉴标杆企业的案例经验。
6)咨询公司知识库：主要通过研究业内国内外的标杆案例分析，为企业数据治理蓝图设计提供参考。
7)结合企业据管理应用现状和存在问题，做差异化分析，形成《现状调研与需求分析报告》，制定可执行项目计划。
规划数据治理蓝图，主要包含四个架构体系：数据标准化架构、数据管控架构、数据集成架构及数据安全架构。
图3 数据治理蓝图设计方法论
1)需求调研：通过资料收集、现场访谈等方式，对企业的业务现状和信息化现状进行调研。
2)现状评估与需求分析：通过对调研现状的总结，结合成数据治理熟度模型、标杆案例、发展趋势等行业内先进的方法论，进行集团的现状评估与差距分析。同时，针对集团当前的数据情况，进行数据分析，实现主数据识别和实施范围识别。
3)数据治理蓝图设计：根据现状评估与需求分析的结果，进行体系规划，制定项目的愿景、使命与目标，并进一步建立完整的数据体系架构，完成数据标准化体系设计、数据管控架构体系设计、数据质量体系设计、安全架构体系设计等。
图4 数据治理蓝图设计中的4个架构体系
4)实施规划：制定符合体系架构设计的实施策划，设计总体推进计划，并建立相应的资源规划，主要是资金投入和人力资源。
配合大数据平台的建设，可制定形成指标数据管理、元数据管理、数据质量管理等管理标准，和ETL开发、分析应用开发、数据模型设计等技术标准。
图5 集团企业数据标准体系
图6 数据指标标准体系
划分和确定数据主责部门和人员的职责分工边界，建立数据认责机制。确定数据治理工作的相关各方的责任和关系，包括数据治理过程中的决策、执行、解释、汇报、协调等活动的参与方和负责方，以及各方承担的角色和职责等。
数据管控原则及分工
1)数据认责：数据认责人对其产生的数据资产的数据标准、数据质量和数据安全最终负责，以数据生成方作为数据认责人。
2)共担职责：由业务部门、信息部门和集团领导共同承担数据管控职责，通过业务、技术和管理通力合作形成配套的完整数据管控方案。
3)分类管控：对通用、专有的数据采取不同管控策略，面向项目不同类型采取不同管控策略。
建立认责管控体系
1)建立认责体系：形成由数据治理负责部门牵头、全员参与的主动认责文化，重视问题的沟通，能够主动剖析和快速响应出现的认责问题。
2)建立认责流程：建立集团统一的数据认责流程，认责流程管理持续优化。
3)建立管理办法：细化和落实各类数据认责流程、管理办法，并成功地将数据认责纳入集团绩效考核体系当中。
4)落实认责模式：执行基于数据域的数据认责模式，数据域的划分清晰且合理，理清各部门、各小组以及各参与人所承担的角色职责，在全集团推广数据域认责。
图7 数据治理认责体系
确定数据管理工作中各类参与部门和人员的职责划分，在数据治理项目建设过程及后期运营管理工作中，参与的部门和人员主要可以划分为以下四类角色：
1)数据主责：对于所管数据域内的数据，具有定义权和解释权，是所管数据域内的数据的权威发布机构，提供数据定义和相关业务规则，提供数据录入指引，提供指标口径。
2)数据录入：有权提出改进数据录入系统的建议，根据数据主责部门的数据录入指引据实录入数据，保证数据的真实性。
3)数据使用：在访问权限范围内使用数据，提出数据质量意见，遵从数据访问权限控制。
4)技术支持：有权决定数据加工实现的技术方式，有权要求数据主责部门进一步明确数据采集加工控制规则，根据数据主责部门的要求建设和完善数据录入系统，建设和完善数据加工系统。
图8 数据治理相关岗位角色
数据标准体系是数据管理工作的重中之重，通过主数据和数据指标标准化，才能为实现部门和系统间的数据集成和共享，打通企业横向产业链和纵向管控奠定数据基础。
对企业经营活动中所涉及的各类主数据和数据指标，制定统一数据标准和规范及数据模型，建立数据标准的制定方法可参考以下步骤：
1)确定数据模型和编码规则
2)调研、收集各类数据标准
3)分析、优选各类数据标准并提出规划制定建议
4)编制规则征求意见
5)征求部门意见以完善和确认规则
6)提交规则送审稿
图9 数据标准制定流程
数据标准定义工作可以围绕以下几个方面来展开：
1)标准名称：定义数据标准的名称规范，为每项主数据定义统一、准确的名称。
2)业务定义：明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。
3)分类定义：进行主数据的分类定义，以便方便的数据识别和数据使用。
4)编码规则：为各类主数据制定统一、完善的编码规则，保证数据在各信息系统间传递和共享、唯一性的判断准则，最大程度减少数据重复录入。
5)数据模型定义：使用描述属性对各类主数据进行全方位定义，通过主数据基本属性的确定以及填写规范、数据校验规则的设计，保证数据使用过程中的信息一致性，减少歧义。
6)数据管理定义：明确各类主数据标准的所有者、管理人员、管理流程等，从而使数据标准的管理工作有明确的责任主体，以保障数据标准能够持续更新和改进。
7)数据来源：明确各类主数据的数据来源和数据生成的方式，以便制定合理的主数据管理模式。
清数据即按照数据标准规范，梳理和清洗企业经营活动中的各类主数据，形成标准主数据代码库，其核心工作是主数据的清洗与治理。
建立主数据代码库的过程是按照一定的清洗规则对零散、重复、缺失、错误、废弃等原始数据进行清洗，通过数据清洗保证主数据的唯一、精确、完整、一致和有效，然后分别从数据的完整性、规范性、一致性、准确性、唯一性及关联性等多个维度，通过系统校验、查重及人工比对、筛查、核实等多种手段对主数据代码的质量进行多轮检查，通过高质量的数据清洗形成主数据标准代码库。
数据清洗工作分为以下几个阶段开展和推进，主要包括：A.数据标准宣贯培训、B.数据收集及清洗、C.数据发发布阶段。
图10 数据清洗工作流程
原始数据清洗最繁杂、耗时耗人力、工作量大，需要业务部门人员参与，提供必要的数据工具提高工作效率。这一过程可以划分为以下5个步骤：
1)数据导入：可通过多种方式，将原有系统中的数据批量导入到数据治理管理平台中。
2)清洗规则设置：建立主数据的数据清洗规则，并在主数据系统中进行相应的模板配置。
3)数据清洗与异常数据识别：根据预设规则，对数据字段进行标准化处理，并生成处理报告，定位异常数据。
4)异常数据处理：创建清洗流程，对异常数据进行甄别和处理，生成最佳纪录，提升数据质量。
5)审核与发布：通过预定义的流程管理，对清洗过的主数据进行审核，并将通过审核的数据发布到主数据系统中。
搭建数据治理管理平台，实现数据标准文本发布、主数据和元数据的全生命周期管理、数据质量和安全管控等。
1)数据治理管理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑。
2)数据治理管理平台是有效实施主数据、元数据、数据指标管理，提供规范统一的数据服务的平台。
3)数据治理管理平台是实现数据从产生到应用，分层协同、全面治理的核心。
图11 数据治理管理平台与其它系统关系
数据治理管理平台一般包含综合门户、主数据管理、元数据管理、数据资源目录、数据质量管理、数据安全、监控与评价、系统管理等功能，具体架构如下：
图12 数据治理管理平台功能架构
将数据治理管理平台与各个目标信息系统集成，实现数据的采集、分发等交互操作，从而最终实现主数据服务于业务应用。
图13 数据治理管理平台集成架构
数据治理管理平台与多个统建系统之间的数据采集与数据分发服务的集成应用建设，主要包括以下两方面内容：
1)历史数据/存量数据的集成：主要通过数据集成工具实现，经过数据抽取、数据清洗转换、数据同步导入的过程，实现不同系统的历史数据/存量数据向主数据系统的集成过程。
2)新增数据/动态数据的处理：通过主数据新增/修改的流程规范，实现自动化处理+人工监察干预的方式，实现新增数据的采集，并通过数据服务总线实现数据治理管理平台向其他系统的数据发布或其他系统对数据治理管理平台的数据订阅。
图14 数据治理管理平台服务架构
实现企业信息系统的数据集成和应用，基于企业服务总线，实现与如人力资源、财务、生产经营等系统的数据集成应用。
图15 主数据订阅和分发示意图
数据治理管理平台上线运行后，在业务和技术层面继续提供后续支持保障，成立数据标准化运营组织，明确各岗位职责，结合企业实际情况制定数据管理制度、数据管理流程及数据管理维护细则等，建立企业运维体系，为数据的长效规范运行奠定坚实基础。
图16 数据治理运维体系
运维体系由组织、制度、流程、知识库、平台等组成，建立适合企业的维护组织保障体系，确保主要的数据在总部都有对应的业务牵头部门。
图17 数据治理制度管理流程
制定数据管理办法、制定应用考核规范、应急预案（制定服务级别管理、服务报告管理、事件管理、问题管理、配置管理、安全管理、连续性和可用性管理）、运营管理关键指标考核、运营监控管理及相关管理制度；确定各类数据的维护流程；保证运维的高效性和资源共享，建立运维知识库；统一的数据治理管理平台做支撑。
图18 数据治理相关管理办法
数据治理日常工作内容
1)需求和问题管理：从需求和问题的提出到需求和问题的汇总、分析、归类再到问题的归属（责任人）、解决及反馈的全过程闭环管理。
2)数据过程管理：指数据相关标准的申请-审核-发布的全过程管理；主数据代码体系表的日常维护；数据质量日常检查和监控；主数据代码编制与修订。
3)数据的标准服务与支持：对各个应用系统的主数据服务支持工作进行规范，以标准化、规范化的模式对相关项目的主数据进行服务和知识传递，如对ERP、HR等系统的数据服务和支持，如何按照标准化的流程进行管控。
4)数据标准化应用与考核：辅助信息化部门对标准化相关工作进行管控；项目建设过程中标准化使用情况的考核以及项目投用后标准应用的情况考核。
5)知识库建立：问题处理过程中、运维过程中形成的规范性文档、模板、规则、用户手册等。
数据应用管理是保障主数据落地和数据质量非常重要的一环，数据应用主要包含4部分内容：明确管理要求、实施有效的管理、强化保障服务和存量系统主数据代码转化和切换。
1)明确管理要求：制定数据应用管理制度规范，对数据的应用范围、应用规则、管理要求和考核标准做出明确规定，并以此为依据，对主数据应用进行有效管理。
应用范围：每一类主数据都要有适用范围的规定，具体应用时必须按照适用范围来执行，对应用中出现的不适用的情况要有应对机制。
应用规则：包括数据同步规则、代码映射、归并和转换规则、异常处理规则等，对代码映射、归并和转换规则，要有相应的原数据定义和记录。
管理要求：包括管理岗位和职责、管理流程、管理指标和考核要求。
考核标准：规定数据应用考核标准，包括覆盖度、准确度、及时性、有效性、安全性等。
2)原有信息系统制定数据切换路径和推广应用策略计划，项目成果能在未来2-3年里集团组织的范围内各层级信息系统得到全面应用和推广。
图19 原有信息系统制定数据切换策略
3)主数据5种应用方式
图20 主数据5种应用方式
数据治理项目不单单是搭建一个集团级数据治理管理平台，而是一项长期而复杂的工程，涉及到数据管理体系、数据标准、数据治理管理平台、数据质量和安全、相关系统升级改造、数据清洗等多个方面，项目建设依据快速见效、急用先建的思路，先整体规划，以数据模型和数据标准为基础，以数据治理管理平台为载体，并开展数据治理专项工作，确保数据治理项目的成功，为实现有效的数据资源整合夯实基础。
—————— / END / ——————
分析最新的数据思想，与百万数据从业者一起成长
“一平台、两体系、三性特征、四个统一、五个超越、六类服务 ”一篇读懂数据治理、共享和应用（值得收藏）