自己有近20年的数据管理实践,很早就接触DAMA,DMBOK,然后陆续学习DCMM、数据资产白皮书、工业数据治理等相关规范和书籍,也获得了很多启示,但其实有一个问题始终没解决,就是虽然这些规范和书籍都提出了一个框架,但我获得的知识大多却是碎片化的,为什么?
最近2年自己有机会参与公司数据治理体系的建设,在拟定公司的数据治理体系框架中,我一直是处于矛盾之中,因为无法将诸如DAMA的体系和公司的数据管理实践很好的结合,公司实际的数据管理也并不是按照这些框架的逻辑运作的。
DAMA在豆瓣的评分有8.3,最近的几个评价是这样:“为了项目读的,不敢直视= =”,“好像和我想象的不太一样,很体系,但是也看不下去”,看来这种感觉不是我独有的,那么是否DAMA本身也是有些问题的呢?
最近自己对DAMA“读不懂,学不透”的这个问题做了四个方面的思考,分享给你。
第一、DAMA数据管理职能只告诉是什么,没告诉为什么
无论是数据治理还是数据管理,都有一个业务目标,DBMOK对目标是这么描述的:确保使用高质量安全的数据为企业增值,为了实现这个业务目标,它必然需要依托一系列的数据管理活动来达成,DAMA因此给出了10个数据管理职能,如下图:
但DAMA在给出这些数据管理职能时,并没有说明为什么是这十个职能,而不是那十个职能,选择依据是什么,有什么必然的逻辑?因此我只能从自己的实践来验证其合理性,这里仅举两例。
DAMA将主数据和参考数据管理作为一项重要的职能,但实际上指标数据管理也很重要,把指标数据管理做好其实可以解决企业大量的实际问题,自己以前做数据仓库的时候,在指标管理上投入的精力远超过主数据和维度数据,但为什么DAMA没有选择指标数据管理作为一项职能?
很多年前我们上了元数据管理,因为当时业界各种规范都在提元数据管理的重要性,一堆厂家蜂拥而上元数据产品,最终一地鸡毛,但DAMA并没有告诉我们什么场景下适合把元数据管理单独抽象出来做独立的管理。
事实上,元数据也是要业务驱动的,它首先应该是应用的一部分,而不是先搞个上帝视角的元数据系统,然后来支撑各种应用,这种典型的“拿着锤子到处找钉子”的行为造成了太多两张皮的现象。虽然DAMA只是抽象出了这么一项公共数据管理职能,并没有要求大家建统一的元数据管理体系,但实际已经影响了大量企业的决策。
数据管理属于社会科学的范畴,没有什么绝对的标准,但如果能把框架制定的来龙去脉说清楚,可以防止大家机械的去理解DAMA,避免教条主义和决策错误。
第二、DAMA各项数据管理职能间缺乏逻辑主线,抓不住主脉络
数据管理是实现数据从信息再到知识的过程,其本身其实有清晰的流转路径,即从数据架构、数据记录、数据采集、数据建模、数据开放、数据应用再到数据运营,这些核心数据管理活动前后串接形成了最为核心的业务价值流。
但DAMA在这个价值流上只选择了数据架构、数据开发(可以认为是数据建模)及数据操作(可以认为是数据运营一部分)三个活动,数据记录、数据采集、数据开放活动等活动都被放弃了,这让DAMA数据管理框架失去了逻辑主线,虽然这10个职能被放在了一起,但也只是形聚神散,你会发现,大量的其它框架会选择并不完全一样的职能,说明了共识的缺乏。而我们学习往往先要有个主干,然后才能开枝散叶,否则会学得不够体系化,虽然明明DAMA有一个体系在那里。
第三、DAMA各项数据管理职能缺乏关系描述,难以理解和记忆
框架的核心要素是实体+关系,DAMA对这十个数据管理职能之间关系的描述却不是很充分,而把一堆毫无关系的数据管理活动放在一起必要性就有了问题,因为不会产生1+1>2的价值,即新的价值不会涌现。我觉得至少应从三个维度去理解这些职能,才能理清其中的关系。
第一个维度空间,就是主业务流上的数据管理活动,前面已经讲过,包括数据架构、数据开发及数据操作等职能,当然并不完备,或者说没有穷尽,违背了MECE的原则。
第二个维度空间,就是针对主业务流上的数据管理活动提供的保障型数据管理活动,包括数据安全管理、数据质量管理,元数据管理等等,它们打穿了主业务流上的所有数据管理活动,用以提升这些数据管理活动的效率和质量,但它们本身并不直接创造价值,而是支撑别人创造价值,跟数据架构等并不属于同一类别的活动。
第三个维度空间,其实是按照数据类型来划分的,当然也是不完备的,因为除了参考数据、主数据,至少还应包括统计数据管理(比如指标数据)、交易数据管理及时序数据管理,如果从重要程度来讲,指标数据管理也应该入选。
第三个维度空间,实际上是第一个维度空间的一种场景,就拿主数据管理活动来说,其对操作的数据有一致性要求,这种一致性要求会对相关数据管理活动提出相应要求,无论是数据架构、数据开发或数据操作等等。
只有理解了这些关系,我们才能更好的记忆和理解这些数据管理活动,然后能够举一反三。比如现实中你不大可能专门搞一个主数据管理团队去运营主数据,而是要将主数据管理的要求渗透到数据管理的全生命周期相关活动才能真正落地,元数据管理也是一样的,但如果你只是机械的去理解DAMA的这些职能,就会在落地时充满矛盾。
第四、DAMA对受众的背景有较高要求,劝退的十之八九
”每个字都认识但就不知道讲的是啥“,十多年前我刚接触DAMA的时候,就是这种感觉,因此总是不耐烦的翻页,现在回想起来,应该是跟自己缺乏相关经验有关。DAMA的主要受众应该是有数据背景的管理人员,学生去读这种书其实是不合适的,因为数据管理是一门实践的学问,这里以数据治理的定义说明。
数据治理即“对数据资产管理行使权利和控制的活动集合(规划、监控和提升)”,当我第一次读到这个定义时,完全是云里雾里,不知所谓,后来看了很多文章的辅助解读,才明白其中的奥妙之处,其实定义的是很严谨的。
首先,什么叫做数据资产管理,哪些是数据资产管理,如果你没有实践,往往抓不到实际能映射的东西,就会觉得很抽象,其实DAMA已经解释了,在10项职能中,除了数据治理,其他九项都属于数据资产管理。
其次,什么叫做行使权利和控制,如果你没有管理经验,就会觉得很抽象,我当初是通过公司数据安全部的职能来辅助理解的,因为数据安全部制订了很多制度规范来约束大数据变现的相关活动,同时还要做大量的审计,这就是在行使权利和控制。
最后,什么叫做活动集合,括号里给出了三个关键词,规划、监控和提升,就是规划的活动、监控的活动和提升的活动。那么这些活动具体是什么呢,DAMA其实给出了很详细的解释。规划的活动包括发展和维护数据战略、建立数据专业角色和组织、确定并任命数据管理专员、建立数据治理和管理制度、制定并审核数据政策、标准和程序等等。监控和提升活动包括监督数据专业组织和人员,协调数据治理活动,管理和解决数据相关问题,监控和确保符合数据政策、标准和架构、监督数据管理项目和服务等等。
为了写这篇文章,我重新去翻看DAMA数据治理的相关内容,感觉就跟以前不太一样了,甚至会有些亲切,因为DAMA阐述的数据治理内容跟我现在做的企业级数据治理实践能够很好的匹配,而且自己还实操了,理论+实践相互印证是非常有利于理解和学习的。第五、DAMA信息密度超过了一定的阈值,文字也不够通俗如果你仔细去研究DAMA,会发现里面充斥着大量抽象的概念和名词,数据管理、数据治理、元数据、主数据、参考数据、数据仓库、商务智能、数据架构、数据模型、数据操作等等,而且相互之间既有联系又有区别,每个概念都可以用一篇文章来解释和辨析,信息密度相当高。科学研究表明,当一本书的内容有15%以上的新内容时,就会让人的学习效果打了折扣,而这本书至少有50%以上的内容对大多数人来说是陌生的。DAMA的目录虽然很有层次,但目录之间的逻辑关系不是很强或者很明显,阅读的时候如果不先搞懂这些目录层次和关系,就会读的很乱,而其他的一些规范,或是诸如《华为数据之道》这种书会好很多。
另不知道是否是DAMA太多人编撰或者是翻译的原因,总感觉有点啰嗦且翻译得不够准确,有时候不自觉的要去分析它的语法才能明白它的意思。
DAMA还有个问题,就是版本更新的速度有点慢,当然这跟晦涩难懂无关,但其实也挺重要。数据成为生产要素后,数据管理的实践如雨后春笋般出现,但现在距《DAMA数据管理知识体系指南》第一版出版已经过去10个年头,DAMA除了2017年第二版增加了数据集成的一个职能外,其他的变化偏少。
近些年国内的DCMM、数据管理实践白皮书等都在基于实践总结新的框架,让人耳目一新,有些甚至是一年一更,比如DCMM增加了数据标准,数据管理实践白皮书增加了数据共享,华为数据之道提到了数据服务的重要性,我们企业更是把数据开放和共享作为最重要的数据管理工作之一,但这些都没有在DAMA中体现,这会削弱其对实践的指导作用。
瑕不掩瑜,DAMA的确是一本缔造了数据管理领域完整知识体系的经典著作,我们不能奢望一本10年前出的数据管理书籍能写得那么完美,既要框架严谨、内容扎实,又要概念清晰,通俗易懂,还要总是能与时俱进。同时受限于自己的水平(这是大概率的事),本文更多讲的是个人以前的阅读体会,很多问题其实不是问题,只是我没仔细阅读或者没读懂而已,或者说是不知道自己不知道,在写这篇文章过程中,很多地方我进行了重新推敲,发现是自己以前理解不到位造成的。
最近我在想,如果能按照《华为数据之道》的写法(实践为主,理论为辅)去重新通俗易懂的诠释DAMA的每一章,让更多人读懂DAMA,从而更好的指导落地,这一定是极有意义的工作,自己会去尝试一下。
报告 | 中国数据交易实践趋势
国办印发:全国一体化政务大数据体系建设指南
大多数企业数据治理方案都难以收到实效
数据治理咨询项目:《XX集团数据管理办法》.doc
数据治理:如何建立部门数据共享机制?(案例+图解)
主数据的实践和思考 by 傅一平
8000字详解银行业数据治理架构体系搭建
查看全部文章
点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶!