数据治理在快手的实践

点击上方蓝色字体，选择“设为星标”

回复”资源“获取更多惊喜

数据治理构成了公司范围内数据管理的基础，并使有效使用可信赖的数据成为可能。数据的有效管理是一项重要任务，需要集中控制机制。

为了帮助最终用户更好地理解这个复杂的主题，本文介绍了以下几点：

    •什么是数据治理？

    •为什么数据治理很重要

    •公司对此问题有多重视？

    •挑战性

    •最佳实践

01

什么是数据治理？

数据治理包括管理和保护公司数据资产所需的人员，流程和技术，以保证普遍理解，正确，完整，可信赖，安全和可发现的公司数据。

数据治理包含的主题是：

数据治理的核心是建立方法，以及一个具有明确职责和流程以标准化，集成，保护和存储公司数据的组织。主要目标是：

•降低风险

•建立数据使用内部规则

•实施合规要求

•改善内部和外部沟通

•增加数据价值

•方便上述管理

•降低成本

•通过风险管理和优化来帮助确保公司的持续生存

数据治理计划始终会影响企业的战略，战术和运营水平（请参见下图）。为了在公司范围内并与其他数据项目协调有效地组织和使用数据，必须将数据治理程序视为一个持续的迭代过程。

数据治理级别

除了职责外，任何数据治理程序的以下方面都必须加以澄清（请参见下图）。

数据治理方面

•组织（the “where” and “who”）

•业务方面（the “what”）

•技术方面（the “how”）

02

为什么数据治理很重要？

大多数公司已经为个别应用程序或业务部门提供了某种形式的数据治理，尽管不一定将其全面制度化。因此，数据治理的系统介绍通常是从非正式规则到正式控制的演变。

通常，一旦公司达到无法有效实施跨职能任务的规模，便会实施正式的数据治理。

数据治理是众多任务或项目的先决条件，并具有许多明显的好处：

•整个组织中一致，统一的数据和流程是获得更好，更全面的决策支持的前提。

•通过用于更改流程和数据的清晰规则，在技术，业务和组织级别提高IT领域的可伸缩性；

•中央控制机制具有优化数据管理成本的潜力（在数据集爆炸时代，这一点越来越重要）；

•通过使用协同作用（例如，通过重用流程和数据）提高效率；

•通过质量保证和认证的数据以及数据流程的完整记录，对数据具有更高的信心；

•达到合规准则，例如巴塞尔协议III和偿付能力II；

•通过监视和查看隐私策略来保护内部和外部数据；

•通过减少冗长的协调流程（例如，通过清晰的需求管理）来提高流程效率；

•通过标准化进行清晰透明的沟通。这是企业范围内以数据为中心的计划的前提；

•此外，每个数据治理计划的特殊性质也带来了特殊的好处。

数据治理对于企业保持响应能力至关重要，这一点比以往任何时候都重要。开拓新的创新业务领域也很重要，例如通过大数据分析，这不允许持久地进行落后的思考和大修结构。

目前，导致公司重新考虑其当前方法的最重要的驱动因素是：

•建立以数据为中心的视图以支持数字业务模型

•企业范围的数据质量和主数据管理

•大数据环境中的数据可管理性

•制定标准以增强对外部影响（例如并购）的反应能力

•自助服务BI（SSBI）：用户希望独立于IT进行分析

•合规性：透明且易于理解的数据流程，以符合法律要求

除了这些驱动程序之外，还有许多其他发展和要求使数据治理变得越来越重要。

示例包括可操作的BI，高级分析，社交媒体，360度客户视图，云或即服务中的BI，信息策略以及对数据内部和外部使用的数据保护准则（SCM，CRM）的遵守情况。

03

BI专业人员对数据治理的看法

BARC的BI Trend Monitor中的数据证实了数据治理的重要性

数据治理与大型企业，金融部门以及英国和爱尔兰最相关。

它在企业用户和中小型公司中不太受欢迎。

数据治理与大型企业，金融部门以及英国和爱尔兰最相关。

它在企业用户和中小型公司中不太受欢迎。

04

数据治理的挑战

数据治理的相关性显而易见。尽管如此，尽管具有优势，但许多公司还是害怕实施数据治理程序，这可能是由于假定的复杂性或总体不确定性。

实施数据治理计划绝非易事。以下是实施阶段的一些最大障碍：

组织

数据治理需要一种开放的企业文化，例如，可以实施组织变更，即使这仅意味着命名角色和分配职责。结果，数据治理成为一个政治问题，因为这最终意味着分配，授予和撤消责任与能力。这里需要一种敏感的方法。

接受与沟通

数据治理需要通过合适的员工在正确的地方通过各方之间的有效通信来接受。项目经理尤其需要了解技术和业务方面的术语，术语，最好是公司的总体概念图。

预算和利益相关者

通常仍然很难说服组织中的利益相关者对数据治理计划的需求并获得预算。另外，变更通常会因根深蒂固而受到阻碍，但是业务部门中不直接可见的资源可以弥补正常运行的过程和信息处理中的不足。

标准化和灵活性

企业需要灵活应对快速变化的需求。但是，至关重要的是，要根据每个公司的业务需求在灵活性和数据治理标准之间寻求适当的平衡。

混乱与镇压之间的平衡

05

数据治理最佳实践和成功因素

实施数据治理计划

数据治理不是一个大的创举，并且不能以这种方式工作。相反，全球计划是高度复杂且长期的项目。因此，他们冒着参与者可能随着时间流逝失去信任和兴趣的风险。

因此，建议从可管理的或特定于应用程序的原型项目开始，并反复进行。这样，项目将保持可管理性，并且经验可用于更复杂的项目或扩展公司中的数据治理计划。

典型的项目步骤为：

•确定目标并了解收益；

•分析当前状态和增量分析；

•得出路线图；

•说服利益相关者和预算项目；

•制定和计划数据治理计划；

•实施数据治理计划；

•监控。

这些步骤不仅要针对每个新程序重复，而且如果进行更改，还需要重复这些步骤。

在开始任何数据治理程序之前，应始终回答有关项目原因的问题，以避免不必要的额外工作。同样，应评估现有流程，以确定它们是否可以在数据治理计划的框架内适应新要求，而不是从可能不必要的新流程开发入手。

以下工具为数据治理程序的实施提供了帮助：

数据管理（DAMA）框架

DAMA框架为确定学科和职能小组提供了方向-请参见http://www.dama.org。

BARC 9场矩阵

BARC的“ 9字段矩阵”旨在确定组织数据管理方法的当前状态，并从中得出路线图。

公司的三个层次（战略，战术和运营）及其组织，业务和技术方面构成了矩阵的基础。通过其结构，可以用涉及的主题，流程，角色和任务的规范来充实数据管理项目。

应该注意的是，级别，组织，业务和技术方面的预测以及公司中的角色也应该非常具体。但是，该矩阵适用于数据管理领域中的任何主题。

BARC 9场矩阵

DAMA框架为所有相关的数据管理主题提供了成文的标准。它们被分配给BARC 9字段矩阵中的一个字段。

这样，可以以结构化的方式将每个字段的当前状态与目标状态进行比较。这样，可以确定增量，可以设置优先级，并可以得出具有具体行动的路线图。

榜样

角色对于每个数据治理程序都是必不可少的。如今，软件工具提供了用于元数据管理，数据质量，主数据管理和数据集成的数据治理模板。

角色略有不同，但核心角色始终如下：

•数据治理委员会（指导委员会/战略级别）

•数据治理委员会（战术级别）

•资料管理员

•资料拥有者

•数据管理员

•资料使用者

模板和库

模板比角色模型更进一步。除其他事项外，它们还包括最佳实践流程，决策规则，数据质量规则，关键指标和任务类型。

“数据治理”平台

数据治理平台为数据质量，主数据管理，数据集成，元数据管理和数据保护提供了不同的功能块。

06

BARC建议

以下提示将帮助您实施数据治理计划或程序：

•不要启动大爆炸计划，而应该将数据治理理解为一个由子项目组成的连续，迭代的过程；

•从小型试点项目开始，并将这些经验带入公司；

•数据治理程序可以运行多年。但是，单个项目的持续时间不得超过3个月；

•设定经过深思熟虑的明确目标；

•赢得认可是重中之重。利益相关者的参与和流程的透明性是关键。建议与所有利益相关者进行公开透明的沟通，不要隐瞒议程；

•不要重新发明轮子，而要使用市场上已有的模板，模型和最佳实践，无论是通过软件工具，框架和库，还是通过顾问；

•正确指定公司中的角色。计划经理的沟通技巧尤为关键，他必须考虑到政治问题和敏感性，将数据治理计划引入公司。

•仔细检查并考虑为什么未充分简化既定流程和解决方案的原因；

•评估数据治理平台；

•建立清晰的结构和责任；

•  建立用于记录组织最佳实践的全面方法。

下面分享一下快手在原数据治理的实战经验：

参考内容：

1、https://bi-survey.com/data-governance 

2、快手元数据治理