查看原文
其他

数据治理VS数据管理,ChatGPT用通俗的类比和案例终于讲清楚了本质区别!

傅一平 与数据同行
2024-09-26

没有研究过政治学,没有搞过公司,要深刻理解治理和管理这种底层概念的难度本来就挺大,更别提加上一个数据的抬头,然后要说出数据治理和数据管理的区别。


DAMA算是对数据治理概念诠释的比较好的,但也没有清晰的点出数据治理与数据管理的本质区别。在日常工作中,我们基本上是把数据治理和数据管理等同对待的,当然,搞清楚数据治理和数据管理的区别似乎也没多少现实意义。


但情况正在发生变化。


去年国家发布了“数据二十条”,今年成立了国家数据局,从国家层面看,这都是在做数据治理的工作。我们会隐隐觉得数据治理是比较宏大的事情,而数据管理则要具体的多,但似乎又讲不清楚。


我自己曾经写过一些辨析的文章,网上也有很多类似的文章,但总是差那么点意思,要么没有直达本质,要么解释的太复杂了。自己在做数据治理的过程中经常陷入数据治理和数据管理工作混淆的困境,这是学而不思则罔的结果。


现在我已经知道,数据工作要深入推进下去,仅靠数据管理是不够的,必须依托数据治理体系才能彻底解决问题。但如果连概念都辨析不清楚,就很难体会到数据治理工作的精妙之处,更别说去实践了。


以前要去搞清楚这种抽象概念成本很高,现在有了ChatGPT、Claude、Bard等大模型的加持,我发现离真知的距离可以更近一点。


理解抽象概念最好的方式就是类比,我让Claude给出一个数据治理和数据管理的类比,Claude的答案如下


"想象一个乐队,有乐队的指挥和乐手。在这其中,除了乐手,指挥更为重要一点,因为如果缺了其中的协调和指导,乐手各自演奏,就会出现音乐混乱,节奏不一等问题。在这里,指挥做的就是数据治理,乐手做的就是数据管理,而乐谱则是数据。"


下面,我就详细说说数据治理和数据管理的区别。应该来讲,无论是ChatGPT、Claude或是Bard,对同一问题的回答都是不同的,我要做的就是提出正确的问题,然后结合自己的理解和实践对这些参差不齐的答案做分析、取舍和编排。


1、管理和治理是什么


要搞懂数据管理和数据治理的区别,首先要搞懂治理和管理的区别。管理的定义主要有以下几个方面:


(1)管理是对组织资源进行规划、组织、指挥、协调和控制的过程,以实现组织的目标。

(2)管理注重提高组织的运营效率和生产力,完成组织的日常工作和业务活动。

(3)管理依靠组织结构、工作流程、规章制度来执行操作,强调命令、控制和规范化。

(4)管理关注组织内部,着眼于内部资源的合理配置和使用。

(5)管理者负责具体的业务决策、组织架构设计、人员选拔任用等。

(6)管理追求稳定性、可控性、短期结果和效益。

(7)管理采用自上而下的方式对下属进行监督和激励。


综上,管理是通过计划、组织、命令、协调等方式,有效利用组织资源,改善业务流程,完成组织目标的过程。它侧重日常运营与内部控制。良好的管理是组织顺利运转的基础。


治理的定义通常有以下几个方面:


(1)治理是对一个组织的领导和控制。它确定组织的方向,做出决策,并监督组织目标的实现。

(2)治理涉及权力的行使和决策的做法。它规定谁来做决定,如何做决定,什么决定需要做出。

(3)治理是通过各种制度、过程、规范来对一个组织进行管理和监督。它依靠一定的规则和程序。

(4)治理注重价值观念,强调责任、透明度、公平性、参与性等原则。它不仅关注结果,也关注达成结果的过程。

(5)治理通过协调不同利益相关者的关系和需求来进行决策。它需要平衡多个利益群体。

(6)治理强调战略导向和长期发展,而不仅是短期业绩。它确保组织可持续性发展。


综上,治理是对一个组织进行有效领导和监督的制度与过程的总和,它强调透明度、责任和可持续的发展。良好的治理对一个组织的成功至关重要。


2、管理和治理的区别


管理和治理虽然有相似的特点,但是也存在明显的差异:


(1)目标和视角:管理主要关注的是组织的运营,旨在实现组织的日常目标和长期目标。治理则从更宏观的角度出发,关注组织的整体战略和对外关系,如符合法律法规、满足社会责任、处理利益相关者的关系等。


(2)决策层级:管理主要发生在组织的中低层级,比如部门经理或项目负责人等。他们主要负责组织的日常运营和任务完成。而治理主要发生在组织的高层级,比如董事会或者股东会,他们负责制定组织的战略方向和政策。


(3)职责范围:管理的职责主要集中在运行和控制,包括计划、组织、指导和控制等。而治理的职责则包括确定组织的目标和政策,评估高层管理的表现,管理风险,确保组织的合规性等。


(4)侧重点:管理更注重“正确地做事”,即有效和高效地执行任务,实现预定目标,强调的是实施。治理则更注重“做正确的事”,它不仅关注结果,也关注达成结果的过程,即确定正确的战略方向和政策,保证组织的行为符合道德和法律的要求,强调的是指导。


(5)结果考核:管理的结果主要通过业绩指标来评估,比如销售额、市场份额、生产率等。而治理的结果则主要通过组织的可持续性和长期成功来评估,包括组织的声誉、合规性、社会责任等。


3、管理和治理的案例


概念总是抽象的,我们先给一个餐厅的例子:


(1)治理:假设你是这家餐厅的所有者,你需要决定餐厅的类型(例如,是中餐厅、意大利餐厅还是快餐店),你需要选择餐厅的位置,你需要设定餐厅的开放时间,你需要制定餐厅的菜单价格等。这些都是治理的任务,因为它们涉及到餐厅的战略决策和整体方向。


(2)管理:然后,你雇佣了一位经理来运营这家餐厅。这位经理需要招聘厨师和服务员,安排他们的工作时间,处理客户投诉,监控食材的存储和消耗,确保餐厅的清洁和卫生等。这些都是管理的任务,因为它们涉及到餐厅的日常运营和效率。


因此,简单来说,治理是决定我们要做什么(例如,经营一家餐厅),管理是决定我们怎么做(例如,运营这家餐厅)。


下面再给公司和政府的例子:


(1)公司董事会决定引进新的技术以提升竞争力,这属于治理,因为这是一个高层的战略决策。然后,部门经理负责实施这个决策,包括选择技术供应商、训练员工、监控进度等,这属于管理。


(2)一个城市的市政府决定采取更严格的环保政策,以改善空气质量,这属于治理,因为这是一个宏观的政策决策。然后,环保部门负责执行这个政策,包括监控污染源、执法查处、公众教育等,这属于管理。


但很多时候治理和管理是混杂在一起的。比如我曾经想当然得认为立法和司法属于治理工作,行政属于管理工作,这句话从某种程度上来说,是对的,不过也不尽然。


(1)立法部门:通常侧重于治理。立法部门制定法律和政策,为社会行为设定规则和标准,这属于治理的核心任务。然而,立法部门也需要进行一定的管理活动,比如资源分配、议程设置和执行进度的监控等。


(2)司法部门:同样主要侧重于治理。司法部门的主要任务是解释和执行法律,确保社会的公平和正义。这涉及到宏观的决策和规则的执行,属于治理的范畴。然而,司法部门也需要进行管理活动,比如案件的分配、审判进度的控制和法律服务的提供等。


(3)行政部门:相比之下,行政部门可能更侧重于管理。行政部门的主要任务是执行法律和政策,提供公共服务,这涉及到资源的配置、任务的执行和效率的控制,属于管理的范畴。然而,行政部门也涉及到一些治理活动,比如政策的制定、风险的管理和公众关系的处理等。


总的来说,立法、司法和行政部门在不同程度上都涉及到治理和管理的活动,但是侧重点可能不同。治理和管理不是完全独立的活动,而是相互关联和互补的过程。


再以建流程为例,其也涉及到管理和治理,具体属于哪个取决于具体的情况和环境。


(1)如果建立流程是指在微观层面上,组织日常工作活动的顺序和方式,例如如何处理订单、如何进行产品质量检测等,那么这主要是管理的职责。这涉及到对工作过程的规划、组织和控制,目的是提高效率、效果和满意度。


(2)如果建立流程是指在宏观层面上,设计和制定组织的决策、通信和协调的方式,例如如何进行战略规划、如何处理内部冲突等,那么这主要是治理的职责。这涉及到对组织行为的导向和监督,目的是实现战略目标、管理风险和保持合规性。


因此,建立流程既可以是管理的工作,也可以是治理的工作,取决于流程的具体内容和目的。在实践中,管理和治理是相互关联的,好的治理可以提供清晰的指导和框架,有效的管理可以确保流程的执行和效果。


4、数据治理和数据管理的辨析


DAMA说,数据治理即对数据资产管理行使权力、控制和共享决策(规划、监测和执行)的系列活动。


这个定义是非常抽象的。但如果理解了治理和管理的区别,就很容易搞清楚DAMA所谓的“规划、监测和执行”到底是在说什么,只不过增加了一个治理的对象即数据而已,这跟餐厅治理,政府治理,公司治理本质是一样的。当然数据由于有无形,可复制的特点,会增加一些特有的活动,比如元数据,数据质量等等。


下面是大模型对数据治理给出的一个定义:


(1)数据治理是一系列过程、规范、政策,用于全面管理企业的数据资产。

(2)数据治理确定谁可以做数据相关的决策, 明确数据决策权限和流程。

(3)数据治理对企业的数据进行监督和控制,确保数据质量、安全性和一致性。

(4)数据治理强调明确数据职责,提高数据透明度和可追溯性。

(5)数据治理通过制定数据标准和政策来指导数据管理实践。

(6)数据治理注重风险评估和控制,保护敏感数据免受滥用。

(7)数据治理需要高层领导支持,并设立数据治理机构来实施。

(8)数据治理关注持续改进,使数据最大化支撑企业目标和创造业务价值。


简而言之,数据治理是一系列过程、角色、标准和技术,用于有效管理企业数据,作为企业治理的重要组成部分。它使企业对数据拥有控制力和责任,其确保数据被恰当的管理。


数据管理的一个定义如下:


(1)数据管理是对企业数据资产的整个生命周期进行组织、存储、处理和监控的过程。

(2)数据管理负责数据的采集、输入、验证、存储、备份、归档、提取和转换等工作。

(3)数据管理通过数据库和数据仓库等来组织和存储数据。它管理各种数据库和数据平台。

(4)数据管理保证数据的安全性、完整性和一致性。它负责数据备份、恢复、安全控制等。

(5)数据管理规划和实施数据策略,制定数据标准和政策,对数据质量负责。

(6)数据管理支持信息系统的设计、开发、测试、部署和维护工作。

(7)数据管理需要数据工程师、数据库管理员、数据分析师等专业人员来实施。

(8)数据管理的目标是让组织的数据可靠、准确并符合需求,最大化支持业务与决策。


简单来说,数据管理是对企业数据进行组织、存储、处理、监控等工作的系统过程,以保证数据质量和业务支持效果,它是实现数据驱动决策的基础,其重在通过管理数据达到既定目标。


总而言之,数据治理与数据管理是监督保障落实执行的关系,数据治理指导所有其他数据管理领域的活动,确保数据按照数据制度和最佳实践的要求被恰当的管理,数据管理则要通过数据活动达到既定业务目标。



我们很多时候都在提数据质量管理,甚至说数据质量管理就是在做治理,显然这是不严谨的,数据质量管理就是管理,但有关数据质量的工作并不是全是管理,也包含治理工作,如下所示了区别。


数据质量治理:


(1)制定策略:确定组织对数据质量的期望和标准,这可能包括数据的准确性、完整性、一致性、可验证性和可用性等。

(2)设立政策和规程:制定数据质量的政策和规程,例如数据的收集、存储、访问、更新和删除的规则。

(3)风险管理:识别和管理与数据质量相关的风险,例如数据安全性和合规性问题。

(4)监督和审核:确保组织遵守数据质量的政策和规程,包括进行定期的数据质量审核。


数据质量管理:


(1)执行任务:根据数据质量的政策和规程执行具体的任务,例如数据清洗、数据验证和数据更新等。

(2)资源分配:管理用于数据质量工作的人力、技术和财务资源。

(3)进度和质量控制:监控数据质量工作的进度和质量,处理与数据质量相关的问题。

(4)绩效评估:根据预定的标准和目标评估数据质量工作的绩效。


一旦我们搞清楚了数据治理和数据管理的区别,就很容易理解数据治理相对于数据管理独特的价值,从而可以有的放矢的开展数据治理工作,比如数据仓库的数据质量总是上不去,因为极大受到了业务系统的影响,这个问题不是简单的技术问题,也不是一个IT部门的事情,而是全公司的事情,需要在公司层面建立辐射各个部门的相关数据质量管理制度才行,否则数据仓库永远只能在下游救火,当然你做不做得到是另一回事,但路就在那里。


记得当年第一次看到DAMA如下这张数据管理框架图时,我想当然得认为数据治理与周边的10个数据管理职能是等同关系,这种错误的认知决定了我在日常工作中不太可能有什么真正的数据治理思想,即我根本不会想到要从源头的组织、机制和流程上去解决问题,这完全超出了我的认知边界。



近几年我有机会去从事数据治理的相关工作,回过头来才能去真正理解DAMA数据治理的真正内涵,我也挺想把数据治理的概念通俗易懂的讲出来,但就是写不好,现在大模型把我的意图很好的表达出来了。


    星河案例ㅣ浙江移动:企业级数据治理体系建设实践

    重磅!国家组建国家数据局

    数据治理的 “独孤九剑”

    国家数据局 VS 省级大数据局

    解读:组建国家数据局的意义和影响

    终于把元数据、数据元、元模型、数据字典及数据模型的区别搞清楚了 by 傅一平

    傅一平:数据质量管理的实践和思考

    2万字揭秘阿里巴巴数据治理平台建设经验

    查看全部文章


    点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶

继续滑动看下一个
与数据同行
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存