查看原文
其他

谈谈如何有效制定数据架构实施路径

晓晓 数据驱动智能
2024-09-16

优化数据架构需要一个计划,而不仅仅是一个数据模型

  • 数据架构需要许多协调才能从移动数据中提供最大价值。

  • 数据架构师处于这场动荡的中心,必须能够将高级业务需求转化为使用复杂数据模型的数据工作者的具体说明。

  • 数据架构师必须考虑不断增长的数据和应用程序复杂性、业务要求的更高需求、不断增加的数据源数量以及集成组件以确保性能不受影响的需求。

建立数据架构的建议

批判性洞察

  • 数据架构需要随着不断变化的业务环境而发展。有四个常见的业务驱动因素给陈旧的架构带来了最大的压力。因此,组织的体系结构必须灵活并响应不断变化的业务需求。

  • 数据架构不仅仅是关于模型。将数据架构视为技术数据建模可能会导致结构上不健全的数据,无法为业务服务。

  • 数据在组织数据架构的各个层中的使用方式不同,优化数据使用所需的功能也随之变化。从源到仓库再到呈现的数据架构和管理需要不同的策略来实现最佳使用。

影响和结果

  • 制定一个框架,以确定应对当前挑战的适当解决方案。

    • 确定数据架构更改将产生最大整体收益的业务驱动因素并确定其优先级,并确定需要解决的相应数据架构层。

    • 发现最佳实践趋势,衡量当前状态,并定义数据架构策略的目标。

    • 构建有凝聚力的个性化路线图,以重组数据架构。管理决策和由此产生的更改。

分析师视角

1.洞察驱动型企业不可或缺的是业务驱动的现代数据环境。

“随着业务和数据环境的变化,组织的数据架构需要能够跟上这些变化的步伐。它需要作出反应,以便不仅确保本组织继续有效运作,而且支持本组织的总体战略方向。

在当今瞬息万变的市场中,组织不断应对颠覆性力量,并发现需要更加积极主动而不是被动反应。因此,组织发现他们的数据是竞争优势的来源,其中数据架构不仅必须能够支持组织捕获和收集数据的数量、来源和速率不断增加,而且还必须能够满足和交付不断变化的业务需求。

因此,数据架构优化应该有助于打破数据孤岛,创建一个更加共享和全面的数据环境,以更好地为业务赋能。

2.数据是组织知识和决策能力的基础

数据应该是组织发展的基础。

高管们不断寻求利用的转型见解可以通过数据实践来发现,该实践使高质量、值得信赖的信息随时可供需要它的业务用户使用。50%拥抱数据的组织比竞争对手领先于竞争对手推出产品和服务的可能性要高出 50%。

无论是希望更好地了解业务,还是试图成为行业的创新者,无论处于成为数据驱动型企业的哪个阶段,任何组织都可以从其数据中获得价值:

业务监控

  • 数据上报

  • 发现效率低下的问题

  • 监视进度

  • 跟踪库存水平

业务洞察

  • 数据分析

  • 模式洞察

  • 预测未来趋势

业务优化

  • 基于数据的应用

  • 构建应用以根据见解自动执行操作

业务转型

  • 数据的货币价值

  • 创造新的收入来源


3.随着组织寻求变得更加数据驱动,必须更好地管理数据以有效使用

ZB比特时代来了。

一个ZB字节是十亿TB。今天的组织需要以ZB字节为单位衡量其数据大小,这一挑战只会因数据预期移动的速度而变得更加复杂。

了解数据可以成为组织的驱动力只是第一步。现实情况是,需要克服的真正障碍是面对当今数据环境的挑战。

现代数据环境的挑战

静态数据

数据移动

更大的数量

不同类型

质量不确定

更快的速率

更高的复杂性

“现在的数据环境非常混乱。传统应用程序,数据蔓延 - 组织正在努力解决其数据环境的情况。我们需要使用的数据资产在哪里?

融合

定义明确且结构化的数据管理实践是缓解这些挑战带来的限制并充分利用数据最大可能价值的最佳方式。


数据架构是数据管理不可或缺的一个方面

数据架构

一组规则、策略、标准和模型,用于管理和定义所收集数据的类型以及如何在组织及其数据库系统中使用、存储、管理和集成这些数据。

通常,数据体系结构的主要目标是为组织的利益实现数据标准化

54% 的领先“分析驱动”企业将数据架构作为数据分析计划的必要技能。

理想

数据架构纯粹是数据系统技术要求的模型。

现实

数据架构在很大程度上依赖于人为因素。它可以被视为“定义战略与其实施之间的桥梁”。

功能

强大的数据架构应:

  • 定义、可视化数据策略并将其传达给各种利益相关者。

  • 打造数据交付环境。

  • 确保高数据质量。

  • 提供持续改进的路线图。

商业价值

强大的数据架构将:

  • 使数据处理与业务战略和整体企业架构保持一致。

  • 实现高效的数据流,更加注重质量和可访问性。

  • 降低数据拥有的总成本。

数据架构师必须全面了解组织快速激增的数据

数据架构师:

  • 充当业务工作者和数据工作者之间的“翻译器”,以传达数据和技术需求。

  • 促进数据策略的创建。

  • 管理企业数据模型。

  • 对运营和分析数据用例有更深入的了解

  • 推荐数据管理策略和标准,并维护数据管理工件。

  • 审查项目解决方案体系结构并确定整个数据生命周期中的交叉影响。

  • 是数据管理和仓储技术方面的实践专家

  • 不一定是自己指定的职位,而是各种IT专业人员可以完成的角色。

数据架构师弥合了战略和技术需求之间的差距:

从根本上说,数据架构师的角色是在合理的抽象级别上理解组织中的数据。

许多组织正在经历糟糕的数据架构的痛苦,但领先的组织正在积极解决这些问题

过时和陈旧的系统和流程限制了及时有效地访问数据的能力,最终降低了数据应带来的价值

59%

的公司认为他们的传统存储系统需要太多的处理才能满足当今的业务需求。

48%

的公司因依赖“手动方法和准备数据时的反复试验”而感到痛苦。

44%+
22%

44%的公司表示,准备数据是他们分析的最大障碍,22%的公司表示在访问数据时存在问题。

认识到这些缺点的组织已经开始向现代化和优化的系统和流程过渡。

28%

的受访者表示,他们计划取代“数据管理和架构,因为它无法处理大数据的要求”。

50%

的企业计划在未来几年内更换其数据仓库系统和分析工具。

领先的组织正在解决数据架构问题!

一旦重新设计数据架构,忽视战略元素可能会导致效率低下

只关注没有所需数据体系结构指导的数据模型可能会导致 IT 部门出现有害症状,从而导致组织范围的问题。

由于数据架构效率低下而导致的 IT 症状

数据质量差

  • 不一致、重复、缺失、不完整、不正确、不标准化、过时和错误百出的数据可能会困扰您的系统。

可访问性差

  • 访问数据时出现延迟。

  • 对谁可以访问数据的限制。

  • 远程访问数据受限。

战略脱节

  • 断开数据所有者和使用者之间的连接。

  • 解决方案解决范围狭窄的问题。

  • 部门之间的系统障碍。

导致组织业务问题

不准确的见解

  • 不一致和/或错误的运营和管理报告。

  • 跨部门使用分析效率低下。

决策效率低下

  • 向执行决策者提供信息的速度缓慢。

  • 对数据或报告的解释不一致。

运营效率低下

  • 自动化功能的限制。

  • 组织内部的部门增加。

  • 违反法规遵从性。

遵循数据架构方法优化数据架构以满足业务需求

1

  1. 确定核心业务目标的优先级并确定业务驱动因素。

  2. 了解业务驱动因素如何应用于五层数据架构模型的特定层。

  3. 确定满足您最重要要求的适当战术模式。

2

  1. 选择要关注的五层体系结构的区域。

  2. 测量当前状态。

  3. 设置所需优化状态的目标。

3

  1. 制定战术路线图。

  2. 管理和沟通变更。

通过专注于重要的业务问题更快地进入优化状态

第一件事

  1. 确定数据架构现代化目标背后的优先级并建立核心战略目标。这会将注意力缩小到当前数据系统和流程中最需要关注的适当领域。

我们已经确定了这四个常见的驱动因素,这些驱动因素导致需要优化数据架构。

  • 变得更加数据驱动

  • 法规与合规

  • 兼并与收购

  • 新功能或业务规则

这些不同的核心目标强调了优化数据架构的动机,并将决定整体方法。

使用五层体系结构提供数据体系结构的可使用视图

每个组织的数据系统都需要独特的设计以及各种应用程序和存储单元来满足其业务需求。因此,很难描绘出具有普遍应用的理想模型。但是,当数据体系结构按层或层进行细分时,存在在所有数据系统中都可以看到的一般结构。

在此框架中考虑数据系统和流程能够了解体系结构的不同元素与特定业务运营的关系。

  1. 此蓝图演示重新设计背后的业务驱动因素如何要求处理五层数据体系结构的特定层。

  1. 将业务驱动因素与适当的数据层保持一致后,此蓝图将提供应用的最佳实践策略,以实现优化的数据架构。

使用五层架构确定策略的优先级,以根据模式改进数据架构

信息技术的数据架构能力模型

  1. 根据业务驱动因素、相关数据层和组织自己的特定要求,你将需要建立适当的数据体系结构功能。

  2. 此蓝图将帮助衡量目前在这些功能方面的表现......

  3. 并帮助定义和设置目标,以便达到优化状态。

  1. 完成后,这些步骤将提供创建全面路线图所需的信息。

  2. 最后,此蓝图将提供在整个组织中传达此计划的工具,并提供更改管理指南以确保成功采用。

信息技术洞察

优化数据架构需要战术方法,而不是被动方法。

苛刻的优化任务需要能够高度确定优先级。确定原因后,确定如何使用预先构建的路线图来解决四个常见驱动因素。

不要忘记:数据架构不是一个独立的概念;它需要适配企业架构的更整体设计

数据架构一致

数据架构不能简单地解决数据专家甚至IT部门的重点。

它必须充当企业架构中的关键组成部分,并反映整个业务的战略和设计。

数据架构与应用程序架构协作以交付有效的信息系统,并告知技术架构与数据相关的基础架构要求/注意事项。

数据架构优化方法帮助企业应对严格的监管压力的案例

情况:强大的外部压力要求企业更新和优化其数据架构。

货币当局负责监督从外国公司获得收入的国家的财务状况。由于来自国际监管机构的压力越来越大,货币当局负责在请求后 24 小时内根据公司所有权数据生成多种不同类型的受益所有权报告。

陈旧且效率低下的数据架构阻止了货币当局应对外部压力。

通常,生成和提供受益所有权报告的过程需要一周或更长时间。这是由于多个陈旧的数据架构,包括对过时的遗留系统的依赖,以及从纸张和电子来源混合收集所需数据的流程中断。

提供解决问题的结构化方法

货币当局确定了监管压力带来的业务需求、需要克服的挑战以及满足这些需求的可行策略。

遵循数据架构优化方法优化解决业务驱动因素的数据架构领域。

  • 外部要求

  • 业务驱动因素

诊断数据架构问题

    • 过时的体系结构(纸张、遗留系统)

    • 来自其他机构的陈旧数据

    • 数据不完整

数据架构优化策略

    1. 优化的源数据库

    2. 改进的集成

    3. 数据仓库优化

    4. 报表的数据集市

    5. 报告交付效率

    以下三步流程帮助组织优化数据架构,制定数据架构实施路径

    第 1 阶段

    通过业务驱动的策略确定数据架构的优先级

    第 2 阶段

    个性化策略以优化数据架构

    第 3 阶段

    创建战术数据架构路线图

    步骤 1:确定优化数据架构的业务驱动因素

    • 了解什么是数据架构,以及它必须如何随着业务驱动因素的发展而发展。

    • 确定您的组织当前遇到的业务驱动因素。

    步骤 2:确定优化数据架构的可行策略

    • 创建数据架构优化计划,以确定需要遵循的高级策略。


    步骤 1:衡量数据架构能力

    • 确定您目前在五层数据架构中的数据架构功能中所处的位置。

    步骤 2:为数据架构功能设置目标

    • 确定数据体系结构功能的目标。

    步骤 3:确定适用于组织的策略

    • 了解数据架构领域的趋势,以及它们如何帮助优化您的环境。

    第 1 步:个性化您的数据架构路线图

    • 跨层个性化适用于您的策略,以构建您的个性化路线图。

    步骤 2:管理数据架构决策和由此产生的更改

    • 记录组织数据体系结构中的更改。

    • 数据架构涉及变更管理 – 了解数据架构师应如何支持组织中的变更管理。


    往期推荐

    谈谈构建有价值的数据产品的有效方法

    优秀数据产品经理的 7 大特点

    谈谈什么才是数据产品

    一文读懂如何处理缓慢变化的维度(SCD)

    谈谈如何实现企业的数据驱动

    谈谈如何构建一个大型语言模型LLM应用程序【有示例】


    继续滑动看下一个
    数据驱动智能
    向上滑动看下一个

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存