其他
今天我给大家分享的主题是数据治理之数据标准管理。数据标准管理是数据治理的偏向落地的话题。我自己在数据治理领域，工作在数据治理的前线，有十几年的工作的经历，主要负责企业数据治理、企业数字化转型项目的咨询还有交付。什么是数据标准？提到数据标准大家肯定会想到公司也有相关的产品设计的标准、质量检验的标准、安全环保的标准，对于金融企业的话，还有市场监管相关的一些标准。些标准其实都不是我们要讲的数据标准，以上的标准最多只能被称作规范。在我看来，其实数据标准不能只停留在文件层面上的内容，数据标准更应当是为业务运营和管理决策提供相应的保障。中国信通院在《数据标准管理实践白皮书》中对数据标准给出了定义，我个人认为定义是非常贴切的，但是好多小伙伴反应定义感觉有点不太理解，怎么通俗的去理解数据标准？根据我自己的理解，数据标准是企业各部门、各利益干系人在数字化环境中使用的一种共同的语言，就像我们大家交流的语言一样，是在数字化环境中使用的一种语言。数据标准为什么重要？中国有一种传统文化——大一统文化。大一统文化的前提，或者叫背后支撑的钥匙，就是标准化。在国家治理层面，从秦始皇统一六国，他统一了货币、统一了文字、统一了度量衡，废弃分封制，建立郡县制，加强中央集权。他采取了一系列国家治理的措施，我们可以发现他做的最核心的一件事情——标准化。所谓的车同轨、书同文，把以前七零八落的、没有统一的东西都统一起来。到我们建国以后，包括普通话的推广，它其实也是国家治理的一部分内容。我们试想一下，如果大家在一间屋里面开会，你说四川话，他说东北话，有的说闽南话，有的说粤语。先不提会议能不能达成共识？起码会议的效率肯定会大打折扣的。这就是标准化在国家治理层面上的重要性。刚才我们说了中国的故事，关于标准化不仅在中国有故事，在国外也有。传说古时候全天下所有的人都说同一种语言。在向东迁移的时候，走到施娜，古巴比伦的一个城市。走到这个地方，发现了111片平原，就住了下来。人们开始修建一座通往天堂的高塔，高塔就叫通天塔，以显示人们的团结跟力量。但是上帝知道了这件事情，特别不喜欢他们的做法和目的。于是在塔快要建成的时候，上帝教会了人们说不同的语言，使人们之间无法正常的交流，塔就没能继续修建下去。后来些人散到世界各地，各自说各自的语言，就导致了我们现在人类的语言没有统一，可见语言还有文字在国家治理过程中的重要性。其实我还有一种观点就是语言、文字的标准化在国家治理中有多重要，数据标准在企业数字化环境中就有多重要。说到数据治理我们不得不提一下DAMA体系，其实我本身也是DAMA的忠实粉丝，给我的工作提供了指导。细心的小伙伴会发现，刚才我们提到数据标准，既然它在企业数字化环境中那么重要，为什么DAMA没有专门拿出数据标准作为知识领域专门去写。这也是我的公众号后台有小伙伴给我留言会问的问题，问题问得特别好。我也特意对比了DAMA-DMBOK1和DAMA-DMBOK2确实是没有数据标准体系。但是你看过那本书，就会发现其实在DAMA的体系里面，在各个领域都包含了数据标准的一些内容。但在我看来，数据治理它是顶天立地的事情。我认为数据战略是天，数据战略为企业的数字化转型、为企业的数据治理，指明了整个的方向。所谓的数据标准，就像我们盖房子打地基一样，做数据建模也好，做数据仓库也好，还是做数据质量，做数据安全也好，还是做原数据管理，那么数据标准都是其他领域的基础，它是核心的基础。第一数据标准是所有数据指令关键领域的基础第二数据标准为我们建立业务系统或者是操作性系统分析新系统提供数据之间的依据第三数据标准是用原数据来体现的。在这套体系里原数据管理的章节，更多的是体现了数据标准相关的一些概念第四数据标准管理，我认为它是包含了主数据与参考数据管理第五数据标准其实为企业数据质量管理提供了规则和约束，也要做数据质量结合，数据标准是给我提供相关的一些规则。第六数据标准对数据安全的分类对数据的分级也提供了相关的参考和依据。第七数据标准跟数据模型的关系，它是指导企业来构建数据模型，同时在建模的过程中又可以为数据标准的制定提供相应的参考。企业数据资源环境构成那有人就会问，数据标准到底包含哪些内容？那么在聊这个问题之前，我们先看一看企业数据环境都包含哪些内容？其实我们在说企业的数据环境的时候，总会说企业有多少个业务域，其实每个业务域都有对应的数据。比如说财务与人力资源管理与生产、销售、采购等等，都是相关的数据域。数据下面还有相应的数据主题。比如说市场营销、市场领域、营销领域，包括了市场、销售、回款等等些数据的一些主题。数据主题下面涵盖了相应的数据的属性。如果我们把企业数据资源看作是一棵树的话，我认为基础数据是它的数干，基础数据描述企业核心业务对象的数据。它具有一致且统一的属性，是企业开展业务的基础，我们叫它基础数据。比如说现在提到的产品基础数据、客户基础数据、供应商基础数据，还有一些所谓的代码基础数据，也是基础数据的一部分内容。业务数据是树叶。业务数据是在业务活动过程中产生的交易数据，每发生一笔业务交易，就会产生一条交易数据，它的变化频率是比较大的。比如说营销活动的一些数据，销售订单的一些数据等等。第三个部分是果实，我们叫它指标数据。种指标数据是用于统计分析，为管理决策提供参考。比如说新增客户数、客户的转化率、投资回报率等等。我们把它叫做指标数据。那数据标准到底涵盖哪些部分？业内一般会认为，数据标准涵盖了两个部分，第一部分是基础数据，第二部分是指标数据。有人会问业务数据能不能做标准化？其实如果做过数据标准化的项目，你会发现只要你把基础数据做好，业务数据自然而然就会规范了，一般不会针对某业务去定义标准。数据标准的三个视角刚才我们讲了数据标准的四个层面，从数据域到数据的主题或者叫数据分类，再到数据的实体，再到数据的属性，是数据标准梳理的四个层面。那我们怎么去完成数据标准化，还有三个视角。一般来说，我们会从以下三个维度去分析数据标准：第一是业务维度。从业务维度的话，数据标准一般包含业务的定义、标准的名称、标准的分类、标准的业务含义，还有业务的规则等等。第二个是技术视角。包括了数据的类型、长度、格式、编码规则等等。第三个是管理视角。从管理的视角看，数据标准的管理者是谁，新增人员是谁，修改人员是谁，谁来使用，来源的系统，使用的系统等等。说到数据标准的三个维度可能有人就会联想到元数据，元数据一般也会提到业务元数据，技术元数据，管理元数据，跟我讲的数据标准的三个视角是完全对应的。接下来看如何去制定标准，其实是非常复杂的过程。如何制定数据标准？首先你要了解企业为何要去制定标准？企业的需求是什么？现状是什么？外部环境的要求是什么？建标准的时候，有没有相关的一些参考？有没有相关的国家标准？行业标准的一些参考？如果没有的话，行业有没有最佳实践可以拿过来参考。要结合以上的些需求去规划数据标准的体系，先要把范围先确定出来。首先，要基于业务的一些痛点，最需要解决哪些问题，先把些要解决的问题找到，再针对要解决的些问题去梳理，到底哪些业务与哪些数据的主题，哪些数据的实体来定数据的标准？在定准过程中一般有以下的业务步骤：第一资料收集。做it的人员都很清楚要收集现有的一些材料，包括数据的质量情况、数据的管理情况、数据的标准化情况等等。第二个调研访谈。要解决做项目或者数据，你是要解决样的业务问题？第三个分析评估。对整体的情况做分析评估，评估和最佳实践或者最理想情况的标准的差距是多少？第四个标准制定。根据上述的些条件来定义数据，制定标准。第五个意见征集。标准定义完之后，形成的标准文件还需要下发到各个业务单位去收集意见，再根据意见的反馈情况，修订标准。第六步标准发布。标准发布了就代表数据标准化的工作就完成了？其实标准发布才是做数据标准化走出的第一步，后续的重点工作其实需要把标准真正的用起来，要在业务过程中、业务系统中能够使用起来标准，数据标准的贯标跟应用就显得十分重要。在标准贯标和应用的过程中，又会发现标准定义的不准确。那还需要对标准进行迭代和更新。在这里穿插一种数据标准的梳理方法，叫BOR法。刚才讲数据标准的四个层面，从数据域到数据主题，到数据活动，那到了活动之后该怎么去梳理、提炼数据的标准。根据每个业务活动，比如说销售的活动，那就会提炼出销售业务相关的数据对象；比如说客户、销售的产品、销售订单，这些都是相应的实体数据。实体的数据都有相应的属性信息，需要把它的每一项属性信息从三个角度，业务角度、技术角度、管理角度，进行统一的梳理，最后归纳出来与实体之间的关系，形成数据的整体模型。刚才我前面讲的数据标准，包括两个部分内容，部分叫基础数据标准，另部分叫做指标数据标准。基础数据标准的话，从三个维度去看，包括业务、技术和管理属性。右边有具体的示例，比如说企业的组织部门人员，机构、客户供应商人员、组织等等，这些都是基础数据。其实跟主数据是十分相似的，讲主数据的时候，也经常讲主数据是企业的空间数据，是企业需要被共享的在各个业务系统、各个部门之间的具有高价值的数据。其中主数据，它下面包含了参考数据。拿人员为例，那它的参考数据，包括性别、民族、学历、职级、岗位等等，都是参考数据。在做数据标准化的过程中，除了要定义实体，还需要把参考数据进行标准化。比如1代表男，2代表女，那就不能用F、N去代表男和女。我认为基础数据标准是包含主数据和参考数据的。基础数据一旦被共享，那就可以把它当作主数据去看待。接下来是指标数据的标准。指标数据该从哪几方面进行标准化？其实也包含三个层面。第一个方面业务属性。比如说指标分类、指标的名称、指标的定义、指标的计算规则、指标的应用场景，部分的内容是需要业务人员来定义出来的。第二个方面是技术属性。包括数据的来源、数据的值域、统计周期、统计维度、计算精度，是it人员需要提供的。第三个方面是管理属性。比如指标的归口部门是哪？数据提供部门是哪？虽然负责管理，指标是从哪个系统生成的？到哪个系统进行使用？也是为后续的整个元数据管理或者建议指标库提供支撑。接下来如何管理好数据标准。我觉得有一张图六边形图给出来很好的方法论，叫数据治理的基本环境要素，是把之前展示的车轮图加上六边形图的六大基本要素组成矩阵，就形成了针对每域的数据治理的方案。基本环境要素包括目标与原则、组织与文化、工具、活动、角色和职责、交付成果、技术等等。我认为数据标准完全可以作为域去独立管理，当然你也可以把数据标准放到其他的解决方案中去处理。因为DAMA体系引领到中国，我觉得中国人对标准还是有一定的情怀在里面，不过去做数据项目第提到的数据标准化，到底该如何去构建标准的体系？接下里说一下数据标准的落地办法，其实刚才我们已经提到，把基础数据的标准库还有指标数据的标准库搭建出来了，最终还是要用到系统中来，用到信息化的环境中来。信息化的环境一般分成两个部分去看，一部分是操作型系统，一部分是分析型系统。操作型系统我们经常看的企业的ERP系统、CRM系统、SRM系统，这些系统有的用的是套装软件，有的是自己开发的。梳理好数据标准要落地的时候主要有以下三种解决方案：第一个解决方案就是刚才我们提到的主数据的解决方案。主数据的解决方案解决机构系统之间的数据统一的问题，要实现一码一目一数一元，统一数据来源。这是数据标准落地的解决方案，主数据是解决方案。第二个解决方案是构建标准数据库。新业务系统来了，所有的需要运行的基础数据都可以从数据标准库里面来取，通过数据服务厂把数据标准提供出去，为业务系统的构建提供相应的支撑。第三个解决方案是在分析性系统。将来要做数据分析的时候，要解决分析指标透明不透明的问题，也需要调指标库，有的企业叫指标中心，有的企业叫指标库。指标中心为数据仓库、报表平台、智能分析平台提供了维度和度量，数据标准其实为数据分析提供了重要的支撑。数据标准管理的4个最佳实践最后结合自己的工作实践介绍下数据标准管理的四个实践。第一个，谁来主导？也是很多客户或者很多人问我最多的问题，是业务来主导还是it来主导？如果从书上看，大家都会建议你由业务来主导，因为业务更懂数据。其实不是it特别擅长的。但是在实践的过程中，你会发现做这个事情往往都是老板拍下来，事情就交给it来做。那这时候我们该怎么做？那其实我一般会给我们的客户提供两个建议，一个叫借势，一个叫造势。所谓的借势，既然企业想做出数据，那一定会找到支持状况，也就是说一定有领导支持你才会立项目，也一定会找到比较积极的业务部门。那你到时候就可以借他们的势去做数据标准梳理的工作，哪个业务部门积极那我就先梳理哪个业务部门的，这是一个层面。第二层面，刚才我们讲的各个政策，跟国家相关的一些政策，一些驱动的因素，去借这个势去说服老板和领导。第三个从技术的角度，目前数据治理是我们数字化转型的基础，不管是在推进国有企业数字化转型通知上也好，还是在各个数据体系分析的报告上来说，数据治理其实都是最核心的基础。我们可以借技术趋势的势去引导数据治理的工作，来把数据标准制定出来。第三个层面，我们还是要学会造势。我们可以请一些外国的专家甚至是咨询公司给我们的领导来做相关的一些宣传，带他去参观相关行业的标杆。第二个实践叫循序渐进。因为数据治理的事情绝对不是一口吃不出个胖子的事情，一下子是解决不了所有的数据问题的。我们要从企业的整个主价值链，从业务的角度去分析，哪些业务是紧迫需要的，哪些数据标准对业务的影响程度是比较大的？哪些数据在各个系统之间共享程度是比较高的？以及数据在实施过程中的难易程度。我们要把所有的治理需求优先级排出来，给到我们的领导。比如说先治理营销领域，因为现在说实话，转型最提倡的就是数字营销，因为营销更贴近于客户，更容易成功，更容易见效。另外，可以从内部管理，比如说先治理财务的人员，或者先治理生产的人员都是可以的，要根据企业的优先级来进行排序。第三个实践叫数据标准的动态管理。因为整个外部环境是动态变化的，不管是商业环境还是技术环境都是变化的，数据标准也要与时俱进。比如今天制定好的标准，明天可能就会发生相关的一些变化，那就不能定了标准以后所有的业务都按照标准执行。前提是标准合不合理，合不合规。如果不能与事俱进的话，就会面临项目的数据标准用不起来。我们要建立好数据标准的更新机制和更新机制配套相关的组织管理流程、相关的管理办法。第四个实践是应用为王。最后数据标准还是要应用起来，需要贯彻到各个业务系统里面去，那我们给出来的建议是以对现有系统影响最小为原则去落地数据标准。不要为了落地标准把所有的系统都打乱都重新来一遍，我觉得是很不现实的事情。大家都在看：1、企业业务架构应用架构数据架构技术架构设计方案（PPT）2、数据仓库详细介绍：ETL方法篇3、华为数字化转型：从战略到执行（PPT）4、3个案例看数据分类分级如何落地应用5、数据标签的分类、设计及实现方法6、9000字详解企业大数据项目规划落地实施路线图7、30页PPT读懂DAMA-DMBOK2.0数据管理知识体系指南核心精要8、湖仓一体架构构建与平台应用实践（PPT）9、8000字详解银行业数据治理架构体系搭建10、3万字详解数据中台、数据仓库、数据库、和数据湖（上）11、企业数据资产盘点原则与方法12、德勤：集团主数据管理方法论（PPT）13、企业大数据平台顶层规划设计方案（PPT）14、主数据管理解决方案（PPT）15、9000字详解用户画像标签体系建设指南数据学堂欢迎扫码添加歪老师个人微信（data-school），邀请加入数据学堂数据治理专业微信群，与业内大咖一起识数据、存数据、管数据、治数据、用数据！