查看原文
其他

数据治理组织:建起来不易,转起来太难?

傅一平 与数据同行 2023-03-10


公司在2022年工作会议上提出了“5141”数智驱动的商业智能总体框架(如下图所示),要求围绕顶层设计、组织保障、流程运营、IT支撑、数据安全治理、数据消费六个方面构建企业级数据治理体系,确保数据从产生、处理到消费的端到端全流程高质量运转,有效提升客户体验和企业运营效率,持续推动业务创新。



自己有幸参与了企业级数据治理体系的构建工作,现在组织保障体系基本建成,包括数据责任人制度的建立数据治理委员会的成立数据治理团队的构建三部分内容,但要让这个组织体系真正转起来并不容易,充满挑战。


一、数据责任人制度建立


数据责任人制度的灵感来源于华为的数据之道,主要是通过设立公司数据责任人和领域数据责任人,清晰化了数据生产者、数据消费者和数据控制者相应的权利、责任和义务,老板对于这一点特别感兴趣,因为这符合企业的实际,即没有一个集中化的数据组织会比各个领域更了解自己的业务和数据,很多数据问题靠集中化的数据组织来解决效率是很低的,也是不可持续的。


但华为的组织架构跟很多传统企业不太一样,因为其事业部一般有自己的IT部门,自力更生搞IT和管数据具备一定的基础,把事业部的老大设置为领域数据责任人就能解决大多数内部的协同问题,而一般传统企业的业务部门并不拥有自己的技术团队,IT和数据团队大多在集中化的IT部门,那么,让业务部门去管理数据似乎有点勉为其难,怎么管呢?


这的确是个大问题,因此每个企业还是需要具体情况具体分析,不能照搬华为的实践,那么为什么自己所在的企业就可以呢,我总结下来也许跟以下四个因素相关:


第一、公司的数字化水平相对是比较高的,20年前我们就开始搞数据仓库和BI了,当前数据中台的模型超过6000个,对内开放的数据超过3000个,报表和指标体系比较完备,DataOps也比较先进,懂SQL的业务人员就超过1500人,一线应用呈现百花齐放的局面,虽然业务和IT组织的一体化可能还达不到,但业务和数据一体化还是比较现实的。


第二、公司业务上分为BOM三域,O域是网络域,网络域天然就是业务和IT一体化的,而且O域的数据价值又极高,让O域管好数据对于公司来讲意义很大。


第三、B域是市场域,在TO C领域一直面临着激烈的竞争,为了快速的响应市场,10多年前市场部就成立了专门的综合分析团队来进行自主建模和取数了,现在综合分析室的很多骨干就是从IT部门的数据团队竞聘过去的。


第四、公司近几年一直鼓励B域的市场、政企、地市等部门能基于中台能力进行小IT的建设,以快速灵活的支撑业务需求,现在人员和系统也具备了一定的规模,领域小IT自治代表了一种趋势。


我想正是基于以上因素的综合考虑,公司才决定建立公司和领域数据责任人制度,但大多数企业也许并具备这样的条件,因此不要盲目借鉴。


为了让数据责任人制度发挥出实效,我们对于公司的数据问题现状进行了深入的分析,给出了当前数据领域面临的主要矛盾,并以此为基础明确数据责任人必要的职责,即领域数据责任人要做好领域信息架构管理数据入湖数据开放支持相关工作,下面是数据责任人职责的示例:


公司数据责任人职责:负责统筹各领域信息架构管理,做好元数据管理和主数据管理的构建;协调各领域开展数据入湖支持,组织各领域实施数据质量保障,并建立相关工作的具体流程;负责实施企业级数据资产汇通与开放,协同各领域在数据安全合规及流程可控的前提下实现数据高效开放。


领域数据责任人职责:负责对本领域所辖业务的IT系统信息架构的构建管理;负责本领域的元数据管理及主数据管理;负责本领域原始数据采集和汇通入湖,负责本领域数据质量(质量六性:完整性、及时性、准确性、有效性、一致性、唯一性)管理。


为了确保数据责任人制度能够落地,公司还做了三个方面的保障工作:1、各部门新增数据责任人的职责,IT部门(下设数据管理部)为公司数据责任人,各部门为领域数据责任人。2、明确公司所有部门的领域数据责任人和数据治理专员名单。3、建立专题组采取变革项目的形式推进数据治理工作。


二、企业级数据治理委员会建立


有了数据责任人还不够,还需要一个顶层的组织把大家聚合在一起来决策和议事,成立企业数据治理委员就是业界标准做法,我们也不例外,具体可以参考下图:



数据治理委员会由公司一把手担任主任,其它管理层作为组员,主要负责决策公司数据治理工作总体规划、重要方案和资源配置,审核公司数据治理工作相关规则、流程与制度,督导和推进公司数据生产、汇通和应用。


数据治理委员会下设数据治理办公室,作为企业内部组织开展日常数据治理工作并对整个过程进行管理协调的专职机构,主任由公司负责规划和IT的副总担任,各领域责任人担任成员,主要负责起草公司数据治理体系的相关规划、方案、流程与制度;落实公司数据治理相关的数据生产、汇通和应用工作;召开数据治理工作相关的日常会议及协调处理数据治理工作中的相关问题。公司的数据管理部作为归口管理部门进行统筹推进。


在数据治理办公室建立后,我们也是边做边琢磨,围绕数据治理办公室逐步形成了了四大长效机制以确保相关工作能够落地,包括:


1、决策机制:优化完善投资立项决策会、产品决策会,审议决策信息架构设计、数据汇通、数据质量保障及数据消费应用等重大事项,也就是说,不满足数据治理要求的投资和产品决策可以不予以通过,但大多事情还是通过召开联席会议的方式协商解决。


2、联席机制:数据治理办公室不定期召开联席会议(公司数据管理部按需发起),商议和布置数据治理重点工作,重点解决跨领域、跨层级的数据治理问题,近期布置的重点工作包括各领域的系统与数据资产全量梳理、数据缺失情况梳理和分析、数据专项应用梳理、数据字典管理办法和数据对内开放管理办法的编制、开展公司XX主数据统一运营工作等等。


3、辅导机制:数据治理工作对各领域是全新的工作,起步的时候不知道如何开展工作,这就需要公司的数据管理部来发挥统筹作用,包括任务布置、方法指导、问题答疑及培训辅导等等,比如数据管理部为了确保各领域梳理的数据资产符合要求,创新了一个“5-5-40”数据目录盘点法,用以提升各领域数据资产盘点的质量和效率,下面是“5-5-40”的一个示例,大家可以参考。



4、督促机制:各个领域对于数据治理工作存在重视程度不一、质量不一、进度不一等问题,因此数据管理部以周为单位开展数据治理工作进展的通报,及时发现并解决工作推进过程中出现的问题,由此形成闭环。


数据治理是一把手工程,无论是数据责任人制度、企业数据治理委员会还是数据治理办公室,都离不开公司一把手的鼎力支持,我们在拟定组织变革方案时,跟公司老大汇报多次,有一次老大直接拿着华为的书来讨论问题,直到最终上会前几个小时还在跟老板讨论修改,其谨慎重视程度可见一斑。


在组织建立的过程中,大致能确定未来的工作方向,但在这些方向上具体做什么还是不太确定,老大很早就意识到了这一点,特意提出了三个导向:问题导向、市场导向和全局导向,问题导向就是不搞花架子,市场导向就是不追求完美,全局导向就是不搞重复建设。


要遵循以上三个原则,显然拿着业界数据治理的规范、标准、书籍、文章或最佳实践来临时抱佛脚是没有用的,只能依赖数据管理团队的主动分析,下面举个例子:


华为公司提了数据开放“3个1”的目标,但我们公司要不要跟进,取决于我们首先要知道自己的“3个1”的现状到底是什么,这个问题虽然大家平时都看得到,但这个问题到底严不严重,有没有必要改进,改进的难度多大,得到的效益如何,其实大家不一定很清楚。


但端到端分析清楚现状要花费很大的代价,以前没有一个部门会做这个事情,而分析不清楚现状,就没有资格把问题放到台面上去讨论,更不可能说服公司各部门去进行流程的精简。


下面是我们梳理的某个领域的数据开放流程的部分,光是调研流程就花去了大半月时间,然后要取数分析,然后得出初步结论,然后再征集相关部门的意见,由于大家都有客观原因,因此还需要权衡利弊给出折中的方案,最后再上会决策,数据治理每一样事情都要这么干,挑战还是很大的。



那么,到底谁能分析清楚公司数据领域存在的问题呢?咨询公司或合作伙伴显然不是合适人选,因为管理成本太高了,那就只能靠公司自己的数据管理团队,但IT部门的数据管理团队往往是以技术工作为主,其实并不擅长去做这类流程分析的工作,这就造成了很多公司数据治理工作两张皮的现象:顶层设计似乎不错,但没有人能执行,最后好不容易建立起来的公司级数据治理组织和机制形同虚设,可能几年都没开一次会。


现在数据治理的理论体系还是比较全面了,无论是DAMA、DCMM、白皮书、实践书亦或是华为的数据之道,相信大家都能学习到精髓,但难的还是执行,不同的数据管理团队会导致不一样的结果,现在企业数据治理人才极度稀缺凸显了数据管理团队变革的重要性,因此如果企业只在顶层设计上下功夫,但对数据管理团队的变革不闻不问,最终可能是竹篮打水一场空。


三、数据治理团队的构建


跟华为公司数据管理部不同,我们的数据管理部原来的生产职能非常重,不仅承担着公司数据中台建设和运营职责,也负责公司核心领域的数据开发和挖掘工作,具体分为三个组:


汇通保障组:负责大数据采集(含数据交换)、建模(基础和融合模型)、运维及优化,可以看到,汇通保证组是以提升数据本身的效率为核心的。


平台工具组:负责数据中台工具建设及优化,数据开发及挖掘服务环境建设及优化,平台工具组是以提升数据使用效能为核心的。


应用支撑组:为公司各个领域提供数据开发和挖掘服务。


但一旦升级为公司的数据管理部,就要新增公司级的数据治理职责,那原来的组织结构和职能就需要做相应调整,具体如下所示:


数据治理组:负责顶层设计、建章立制、流程管理、主数据管理、数据汇通等等。


数据服务组:负责数据中台运营(含基础和融合模型)和数据开放等等。


技术运营组:负责数据工具链建设和运维保障。


综合协同组:负责综合事务、外部协同、宣传推广、培训竞赛等等。


相对于以前的职责,有以下四个主要变化:


1、新增数据治理组,除了狭义数据治理的相关职能(比如组织、制度、流程等),还特意把数据汇通这个强调生产的工作放在了这个组,主要是考虑近1-2年数据治理的重点工作是加强源端信息架构管理和数据汇通能力,不仅希望这个组能为信息架构管理和数据汇通建章立制和优化流程,也能为数据汇通的过程和结果负责,也就是skin in the  game,不太希望出现两张皮的现象。


2、取消应用支撑组,也就是剥离应用支撑职责,一方面领域的应用支撑职责由领域的数据团队自己负责效率更高,比如我们原来承担B域的精确营销职责按此原则移交给了其他团队,另一方面当前数据治理非常缺人,需要新增人员,但短期内很难从外面补充,因此需要调整部分应用支撑的同事到数据治理组。


3、新增数据服务组,专注于数据中台的建设和开放运营,希望打造以数据服务为核心的数据开放体系,这个组要为“3个1”目标的实现负责,同时承担企业数据开放平台的建设和运营工作,数据中台和开放运营放在一起的目的是以开放促进数据中台能力的沉淀,防止数据中台自嗨。


4、新增综合协同组,企业数据治理工作起来后,不仅要做好对外协调的工作,也要让内部各个组之间沟通顺畅,很多数据治理工作前期以协调为主,后期才会逐步进入生产阶段,因此可以把前期的协调工作放在这个组,同时培训推广等文化工作也非常重要,因此独立设置这个组。


企业级的数据治理组织让数据管理者能有机会跟业务人员做到同一张麻将桌上打牌,可以在公司层面发出数据人员自己的声音,这在以前不可想象,但数据治理组织毕竟是形式化的,组织能否真正成功,最终还是取决于三类关键角色的行动:


第一类角色是管理层,其是否相信数字化是公司的未来,是否对IT和数据有着某种执着,是否将数据治理纳入了常态化的工作日程。


第二类角色是数据管理部,其是否愿意革自己的命,是否愿意放弃技术和应用的执着,是否能够站在全局最优的角度去思考问题并推进问题的解决。


第三类角色是数据治理者,其是否能够顶天立地,从码农走向架构,从架构走向管理,从管理走向建章立制。


最近在学习《道德经》,我就在想,企业数据管理部这个组织的终极目标是什么,也许把自己做没了才是最佳结果,但无就是有吧。


希望于你有所启示。




    主数据管理实施全流程保姆级教程

    数据资产目录建设之数据分类全解

    数据治理体系化思考与实践

    企业IT规划|数据治理该归哪个部门管?

    数据治理与数据中台架构(附PPT)

    数据治理一体化实践之体系化建模

    我的企业数据治理实践:目标(上) by 傅一平

    数据治理工作的8种推进套路



    点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶 

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存