查看原文
其他

数据治理:现状、框架与提升投入产出比

ruby ruby的数据漫谈
2024-09-27

摘要:在数字化时代,数据已成为企业最宝贵的资产之一。有效的数据治理不仅能够提升企业的决策质量,还能增强企业的竞争力。然而,实现成功的数据治理并非易事,它需要企业在多个方面进行深思熟虑和精心规划。目前根据McKinsey 的估计,一个中等规模的金融机构每年在数据治理上的投入大约在2000 万到5000 万美元之间。另一方面,在作出了诸多努力和尝试后,企业面临的数据问题和挑战似乎并没有减少,治理效果与预期之间似乎总是存在差距。据Gartner 的估算5,企业每年因为数据质量问题而需要付出平均约为1290 万美元的额外成本。

本文将从数据治理的基本现状出发,探讨数据治理的基本框架,并提出如何提升数据治理的投入产出比,以期为企业在数据管理领域提供指导和参考。



01

数据治理的现状‍‍


数据治理项目是一项复杂且比较难以成功的项目,如何说它难以成功,是目前的数据治理的项目的常见现象是:在经历多年的数据治理之后,相应的数据治理投入逐年增加,但是取得的治理效果或收益却不尽如人意。

如下是常见的数据治理项目的情况:

图来源:《【IBM】谋定后动,强化共识聚焦主数据,全面提升数据治理能力》


以上两张图说了数据治理项目的理想模型和实际模型收益模型上的差异

理想模型
  • 初始投入:在数据治理的初期,企业需要进行较大的投入来建立治理框架和基础。
  • 持续优化:随着治理工作的不断推进,企业通过优化流程和技术,逐渐降低边际成本。
  • 收益递增:在某个时间点之后,治理带来的边际收益开始超过边际成本,实现正向收益。

现实模型
  • 持续增长的投入:在多年的数据治理实践中,企业发现需要持续增加投入,以应对不断变化的数据环境和技术需求。
  • 收益增长缓慢:尽管投入不断增加,但治理效果的提升并不明显,导致收益增长缓慢。
  • 成本效益不匹配:治理成本的增长速度超过了收益的增长,导致成本效益不匹配。


   而导致现实模型的收益不明显的主要原因有如下几个原因:‍‍‍‍‍


1、技术更新迅速:数据治理技术快速发展,企业需要不断更新技术以保持竞争力,这导致成本的持续增加。例如企业在引入AIGC等项目时,同时需要对数据治理的相关技术进行更新,导致数据治理的项目也随着新项目和技术的引入而出现新的治理成本。
2、治理策略不明确:缺乏清晰的治理策略和目标,使得投入无法有效转化为收益。企业在数字化转型的时候,没有将数据治理的目录和企业的数字化转型的业务目标挂勾,导致数据治理人员为了治理而治理,并且存在部分治理可能不能直接产生相关的效益和收益。
3、人员培训不足:员工对数据治理的认识和技能不足,导致治理效率低下。部分数据治理的人员对数据治理的整体框架认知不足,以及数据治理的相关行业标准了解不足,导致数据治理的项目出现反复的现象。
4、流程优化不足:治理流程可能存在冗余或低效环节,未能充分利用资源。



02

数据治理的基本框架


DAMA(数据管理协会)提供了一套全面的数据治理框架,旨在帮助组织有效地管理和利用其数据资产。参考DAMA数据治理的框架:

数据治理的基本框架

  1. 数据架构(Data Architecture)

  • 数据架构是数据治理的基础,它定义了数据存储、组织和流动的方式。这包括数据模型、数据库设计、数据仓库、数据湖等技术架构,以及数据集成和交换的策略。

  • 元数据管理(Metadata Management)

    • 元数据是描述数据的数据,它提供了数据的上下文和含义。有效的元数据管理有助于组织理解数据的来源、用途和关系,支持数据的发现、检索和分析。

  • 数据标准(Data Standards)

    • 数据标准确保数据在整个组织中的一致性和准确性。这包括数据定义、数据类型、格式、编码规则和术语等。数据标准的制定和执行有助于减少数据错误和歧义。

  • 数据模型(Data Modeling)

    • 数据模型是数据结构的蓝图,它定义了数据实体之间的关系和属性。良好的数据模型支持业务需求,促进数据的整合和一致性,提高数据的可用性和灵活性。

  • 数据质量管理(Data Quality Management)

    • 数据质量管理关注数据的准确性、完整性、一致性、可靠性和时效性。通过监控、评估、清洗和改进数据质量,组织可以确保数据的可靠性,支持有效的业务决策。


    详细可以了解历史文章:
    数据治理体系之一-数据安全
    数据治理体系之二-元数据管理
    数据治理体系之三-数据标准
    数据治理体系之四-质量管理
    数据治理体系之五-主数据管理
    数据治理体系之六-构建AI数据治理平台
    揭秘数据治理系统的数据流程图
    实践指南:数据标准在数据治理中的落地实现

    也可以从数据漫谈主页获取相关文章内容,获取方式,使用浏览器打开:http://rubydata.cn/



    03

    企业内部数据治理成功的关键影响因素


    数据治理有明确的框架和执行流程,那么在企业内部,影响企业数据治理成果的关键因素是什么?

    1. 高层支持与领导力

    数据治理的成功始于高层的支持。企业领导必须认识到数据治理的重要性,并将其作为企业战略的一部分。高层的积极参与和领导力能够确保数据治理计划得到必要的资源和关注。

    2. 明确的数据治理策略

    一个清晰的数据治理策略是成功的基石。企业需要制定一套全面的策略,包括数据的定义、分类、使用、保护和质量控制等方面。此外,策略还应包括数据治理的目标、原则和标准。

    3. 组织结构与角色定义

    数据治理需要一个明确的组织结构和角色分配。企业应该设立专门的数据治理委员会,负责监督和指导数据治理的实施。同时,明确各个角色的职责和权限,确保数据治理流程的顺畅执行。

    4. 技术基础设施

    强大的技术基础设施是数据治理的支撑。企业需要投资于数据管理工具和技术,如数据仓库、数据湖、数据质量管理工具等,以支持数据的收集、存储、处理和分析。

    5. 员工培训与文化建设

    员工是数据治理的执行者。企业应该对员工进行数据治理相关的培训,提高他们的数据意识和技能。同时,建立一种数据驱动的企业文化,鼓励员工积极参与数据治理活动。

    6. 持续改进与反馈机制

    数据治理是一个持续的过程,需要不断的评估和改进。企业应该建立反馈机制,收集员工和客户的意见和建议,不断优化数据治理流程。


    数据治理的成功需要企业在战略、组织、技术、人员和流程等多个方面进行综合考虑和投入。通过上述关键因素的实施,企业可以建立起一个健全的数据治理体系,从而在数据驱动的商业环境中获得竞争优势。



    04

    如何提升数据治理的投入产出比‍‍‍‍‍‍‍


    提升数据治理的投入产出比是确保企业资源得到有效利用并实现数据治理价值最大化的关键。为提升数据治理投入产出比,以下是数据治理项目需要调整的关键策略:

    1. 明确数据治理的目标和原则

    与业务目标挂钩:确保数据治理的目标与企业的整体业务目标紧密相连。数据治理项目应该直接支持业务成果,如提高运营效率、增强客户满意度或增加收入。
    优先级管理:对于那些与业务目标关系不大的数据治理事项,应降低其优先级,避免资源浪费。

    2. 依据数字化转型的资产蓝图设定目标

    范围限定:避免数据治理的范围无序扩展,专注于与数字化转型资产蓝图紧密相关的项目。
    明确产出:为每项数据治理活动设定清晰的产出目标,确保每项投入都能产生可量化的结果。

    3. 获得业务方的支持

    跨部门合作:确保数据治理项目得到业务部门的支持和参与,形成跨部门的合作机制。
    共同责任:将数据治理的责任和绩效指标纳入业务部门的考核体系,使数据治理成为组织内所有成员的共同责任。

    4. 制定合理的数据治理策略

    策略制定:基于业务需求和数据价值,制定合理的数据治理策略。
    持续评估:定期评估数据治理策略的有效性,并根据业务发展和市场变化进行调整。

    5. 利用技术和自动化工具

    技术投资:投资于先进的数据管理技术和工具,以提高数据治理的效率和准确性。
    自动化流程:自动化数据治理流程,减少人工干预,降低错误率和成本。

    6. 强化数据治理的组织结构和流程

    组织结构:建立清晰的数据治理组织结构,明确各个角色和职责。
    流程优化:优化数据治理流程,确保流程的高效和透明。

    7. 培养数据文化

    数据意识:提高全员的数据意识,培养数据驱动的企业文化。
    培训与发展:对员工进行数据治理相关培训,提升他们的数据管理和分析能力。

    8. 监控和评估数据治理绩效

    绩效指标:建立数据治理绩效指标,监控数据治理活动的效果。
    持续改进:基于绩效评估结果,持续改进数据治理实践。


    提升数据治理的投入产出比需要企业从战略层面到执行层面进行全面的规划和管理。通过明确目标、优化资源配置、强化技术和流程、培养数据文化以及持续监控和改进,企业可以有效地提升数据治理的效率和效果,实现数据资产的最大价值。希望这些策略能够为企业提供实际可行的方法来提升数据治理的投入产出比。

    如需数据行业交流,可加入【数据行业交流群】社群,长按以下二维码加入专业微信群,AIGC应用开发交流入群备注AIGC应用




    往期数据平台历史热门文章:

    基于DataOps的数据开发治理:实现数据流程的自动化和规范化

    数据平台:湖仓一体、流批一体、存算分离的核心问题及原因解析

    数据治理体系该怎么建设?

    实时数仓&流批一体技术发展趋势

    数据仓库、数据中台、大数据平台的关系?

    数字化转型如何促进业务的发展

    数据中台中的核心概念解析

    数据治理中的数据标准的作用?

    全面数字化转型:打造全新营销模式

    一图展示数据中台的数据流图

    揭秘数据治理系统的数据流程图

    往期AIGC历史热门文章:

    AIGC系列之一-一文理解什么是Embedding嵌入技术

    十大AIGC文生视频产品介绍

    九大最热门的开源AI Agent框架

    AutoGen零代码构建⾃⼰的智能助理


    继续滑动看下一个
    ruby的数据漫谈
    向上滑动看下一个

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存