2020年数据治理:综合指南
作者丨Aimultiple、石秀峰
什么是数据治理?
为什么数据治理很重要?
数据治理的好处是什么?
数据治理战略相关的核心任务是哪些?
数据治理的最佳实践方式是什么?
数据治理相关的挑战和陷阱是什么?
常见数据治理工具有哪些?
在近期GDPR政策的背景下,企业必须要采取什么行动?
一、什么是数据治理?
数据治理是指关于企业内部数据正式管理的过程和实践,包括数据管理、数据质量和相关的流程与标准,确保企业数据的安全和正确使用。
近年来,随着大数据和 BI 对越来越多的企业组织的重要性日益提高,与数据治理的关联性和突出性也日益展露。通过有效的数据治理,有助于对决策所需的复杂数据源在其统一的环境中进行管理和监控。这最终使得企业获得一致的、规范的数据视图成为了可能。
二、为什么数据治理很重要?
尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素:
数据可访问性:在需要时获取正确数据的能力。
数据可信度: 企业对其数据质量、准确性和安全性的信心。
数据的激活:对所收集的数据操作使用的能力。
进行有效的数据治理实践对企业具有重要意义,其中包括但不限于:
确保遵守重要的内部和外部数据法规,如GDPR和监管单位监管要求。
通过更清晰的数据定义和数据关系,帮助推动企业信息系统和相关制度、流程的规范化、标准化。
降低数据管理的成本、提升企业工作效率。
由于数据关系因素的存在,任何数据活动的透明度都会增加,例如:数据的血缘分析、影响分析、全链分析。
通过规范化的数据输入,减少错误的发生来增加总体收入。
通过数据战略规划和部署,企业经营效率得到提高。
数据质量得到提升,数据驱动的决策分析更加值得信任。
随着业务变得越来越以数据为驱动,数据治理将会变得越来越重要。
三、数据治理战略中的重要任务
数据治理涉及大量的决策、问责和管理,因此通常需要建立一个专门的数据治理团队。该战略有一系列的组织结构方案,但最常见的两个方案选项是:自上而下的命令和控制以及自下而上的协作。与数据治理相关的一些常见职位包括CDO、数据所有者、数据管理员和数据治理专家。
定义和规划数据治理计划的范围; 制定提升数据质量和安全性的解决方案; 创建和管理元数据; 评估新数据源的适用性; 监控并强制遵守数据政策; 研究和集成新的数据源; 培训和提高整个企业人员的数据素养,培养数据文化; 促进新的数据驱动型改进机会。
不同任务相对于彼此的重要性将取决于企业及其法规/合规环境的具体情况。
四、数据治理的最佳实践方法
从大处着眼,从小事起步:有效的数据治理需要很多不同岗位的员工/管理人员、流程和技术的参与和集成。随后,在制定数据治理战略时,务必牢记所有这些因素,从全局考量、整体规划。然后从人为因素开始,找到企业的业务痛点,制定解决这些痛点问题的流程,然后再找到合适的工具和技术,这样可以有助于确保成功。 从解决业务问题开始:由于数据治理需要整个企业管理者的批准和整体布局,因此必须要充分数据治理的目标以及获得的预期收益。例如,必须说明增加收入、提高运营效率和改善客户体验等因素。一方面要说明通数据治理实现这些目标的机会,另一方面也要概述出其中挑战以及应对措施,一切就都可以在意料之中了,而且很多效益也可以更容易地实现。
设置合理的KPI:目标的确是伟大的,但它们需要可衡量。特别是当你得到管理者的认同,且他们期待他们的投资取得明确和可展示的结果时。KPI 和指标对于跟踪计划进度至关重要,同时,对于找到未来改进计划的方法也至关重要。
时刻保持团队沟通:任何主要实践的沟通和交流都是不可或缺的,数据治理也不例外。数据治理不是单纯的IT事务,而是一项企业的业务,需要所有的利益相关方,例如:高层管理者、业务部门、IT部门、数据管理员、数据科学家等的协同和配合。
把它看作是一个转变,而不是一次例外:数据治理不是一次性的项目,而是一个需要持续努力的项目,它需要定期和持续的调整以及改进。当数据治理被视为”一次性”项目时,企业很容易回到陈旧的、无效的运转方式。
这五个最佳实践对于确保数据治理计划的可行性是非常有帮助的。
五、数据治理的误区
六、数据治理工具
有兴趣的可以参考笔者之前写的:《数据治理技术与工具之数据治理的七把利剑》!
基于用途或相关性对数据进行分类
通过层次结构或类别区分来管理数据元素之间的关系
源代码控制服务信息系统的开发,包括分支和合并;
历史报告:历史报告应展示任何做出过的操作的来源和日志;
回滚功能:在执行过程失败的情况下,正在运行的应用程序应该能够通过名为“ROLLBACK”的回滚事务来回到最近的状态。
元数据管理:数据治理和元数据是密不可分的,因为如果没有适当的元数据,主数据就缺乏基本上下文环境。
七、数据治理与GDPR
数据治理在需要严格遵守法规的行业被十分重视且被认为是至关重要的,例如:金融和保险行业就是如此。如今,这种重视已经转移到更为广泛的其他行业中,特别是在欧洲,伴随着GDPR(通用数据保护条例)的实施。
数据治理在实现合规性方面是不可或缺的,因为它可以帮助企业清楚地回答以下问题:
我们都需要收集和持有客户和员工的哪些数据? 我们从哪里获得这些数据? 我们有哪些控制措施来确保其安全? 谁在内部拥有或管理数据? 如果违规会发生怎样的后果? 涉及隐私的信息如何安全传输? 实施数据实践的法律依据是什么? 如何管理未成年人及其监护人?
在企业范围内提供数据的可追溯性和清晰性以及执行良好的数据治理,可以在审核的时候从内部和外部都可以简化和流程化此过程。
出处:Aimultiple
翻译及整理:石秀峰