Thoughtworks x 哈佛商业评论｜超越技术，利用 Data Mesh 创造业务价值
在过去的 20 年里，数据和分析行业取得了长足发展。随着数据在数量和来源多样性方面的指数级增长，能够通过先进的分析和人工智能 (AI) 有效利用这些数据的企业，已经体现出了相对于竞争对手的显著优势。
企业也正在对数据分析技术和技能组合进行必要的投资，以保持竞争力并促进增长。根据 Foundry 2022 年的一项研究，55%的IT决策者计划在未来12到18个月增加以数据为重点的预算投资。该研究还发现，这些公司未来一年平均将在数据驱动举措上花费 1230 万美元，包括软件、服务、培训、咨询和其他相关成本。
然而，真正体验到数据驱动好处的组织仍在少数。对于其他组织来说，人工智能和数据科学的前景仍然难以捉摸，甚至获得有效的运营报告都可能是一个挑战。尽管持续在数据管理举措和最新技术方面进行投资，这些组织仍然挣扎在第一步上：帮助其员工找到并使用他们需要的数据，以便做出更好的决策并成功交付价值。
Data Mesh 是一种新的创建数据解决方案的方法，它通过应用现代组织和工程实践来解决这些挑战。通过采用Data Mesh的原则和实践，IT组织能够更快地响应其组织不断变化的数据需求，并更有效地与业务伙伴协作以产生洞见。
数据无疑是一项战略资产。它可以帮助回答决策者关于如何最好地发展其组织的关键问题，包括客户购买哪些产品、他们对这些产品的满意度如何，以及员工是否高效和敬业。数据还可以回答关于供应链可靠性和未来需求的问题。
Foundry的研究显示，通过数据的洞见来改善内部业务流程(50%)、客户洞见和互动(46%)以及客户服务(43%)，有可能提高公司的竞争优势，并刺激增长。
大型组织（至少有1000名员工）中，数据量以每月63%的速度增长，每个组织平均有400个数据源，其中五分之一的组织使用1000个或者更多的数据源，这些数据源可能是结构化或者非结构化的；内部或外部的；原始或格式化的；图片、事务性或由嵌入在机器中的传感器收集的数据源，以及其他类型。然而，对于许多组织而言，数据与其说是战略资产，不如说是“富足的尴尬”，因为这些组织无法将数据转化为洞见，并从中获得最佳的业务价值。
通常情况下，数据存放在仓库（存放已为特定目的处理过的结构化、筛选过的数据的仓库）或数据湖（以原生格式存储大量原始数据的存储仓库，这些数据等待被分析应用程序按需使用）中，这两者通常都由 IT 部门管理着。潜在的消费者，无论是业务领导还是数据分析师，可能都不完全了解所有数据的情况，也无法理解数据并访问，以及数据如何帮助他们发展业务。
根据 Foundry 的研究，83% 的 IT 决策者都认同提供自助工具来让业务人员更容易访问数据是当务之急。但当今的大多数组织都并未采用这种方式来生成数据驱动的洞见。近三分之一的组织表示，所有或大部分用户均可使用数据分析解决方案，但要访问和使用数据，他们需要有专门的数据分析或计算机科学技能。另外 41% 左右的组织表示，只有少数有相关技能的团队才能使用数据和分析解决方案，比如分析团队和IT 部门。只有五分之一 (21%) 的公司拥有可供所有用户轻松使用的数据和分析解决方案。
要使组织数据驱动化，并通过可付诸行动的洞见为业务团队赋能，数据需要成为产品，本质上成为组织中任何人都可以使用的数据集。就像任何其他成功的产品一样，数据产品必须创造并满足需求或满足数据消费者的期望，易于访问，并且及时。
ITV 的 Bala 在两年前开始推行 Data Mesh，他解释说：“我们没有建立象牙塔一般的集中式团队，而是将技术和数据团队完全分散，这样他们就可以与业务部门一起工作，实际、上就是融入到业务中。”
ITV 在采用 Data Mesh 后，受益颇丰。例如，销售团队和内容创作团队之间的数据共享和协作在植入式广告中取得了成果。制作电视节目的团队提供了大量的元数据，这有助于销售团队更好地理解节目的内容。如果在节目中积极地探讨了某一产品，就有助于销售团队出售该产品的广告。因此，如果相亲真人秀节目恋爱岛 (Love Island) 的某一集中出现关于咖啡的讨论，那么这个咖啡广告就会做得很好。Bala 说：“这是很自然的搭配，因为节目与广告没有冲突。Data Mesh 开创了前所未有的合作。”速度是 Data Mesh 的最大好处之一。数据产品团队控制数据的生产和使用之后，就无需依赖任何跨组织的团队，从而消除了积压的工作。用户能够实时地使用数据。对于 ITV 而言，拥有相关的数据产品可加速激活面向目标观众进行节目推广的能力，所需时间从 3 个月缩短至 3 分钟。Bala 说：“我们将 Data Mesh 视为跨越和加速转型的机会。”
Data Mesh 瓦解了传统的集中式系统的思想和数据管理基础，改变了人们的角色和责任，重新定义了个人目标和责任，它不再是传统的报表式组织结构。这意味着必须从文化上接受这种方法。
Data Mesh 的目标是驱动业务成果，而非技术成果。因此组织需要确立 Data Mesh 将产生的业务价值，并在过程一开始就让业务高管参与进来，以此来启动任何 Data Mesh 的转型。虽然许多业务高管可能精通技术，但转向使用 Data Mesh 的数据驱动管理的理念仍在迫使他们改变多年来一直非常成功的运营方式。
在 Roche 公司，生产规划团队使用的数据现在每天都可用，而非像以前那样每月或每季度才可用。组织实施了 Data Mesh，消除了集中式系统的瓶颈，现在能够更快地从数据中产生可付诸行动的洞见。数据产品突出显示库存中所需不同材料的最新细节。获取及时的数据洞见可以节省维护材料库存的费用，提高生产过程效率。就在去年，由于有了最新的库存数据，库存安全要求得以降低，从而节省了资金投入。
纽约罗切斯特大学首任首席数据官兼现任政府和非营利组织的数据管理顾问 Sandra Cannon 表示：“Data Mesh 成功的最大挑战是创建包含数据生产者和数据消费者的内部数据市场。你需要确保在工作执行人员的角色和职责当中注入适当的激励机制。需要解决他们能从中得到什么好处的问题。”创建数据产品的大部分工作都与数据治理相关。“数据治理是 Data Mesh 的最大绊脚石。如果你做得不对，Data Mesh 就不会起作用。”马里兰大学从事数据库系统架构和实施研究的 Abadi 说。
在 Data Mesh 方法下，数据管理标准是分布式的，这意味着处理数据产品的每个领域都需要遵循这些标准。第一步是创建可分布、适用于整个组织的标准。下一步是确保数据团队在其产品中维护这些标准。
Data Mesh 有潜力帮助企业成功实现数字化转型，使其成为数据驱动型企业，因为它解决了在实现技术架构的同时转型组织架构的需求。但是 Data Mesh 可能会带来的挑战是，组织需要做好准备以便应对转型。
传统上，公司总是专注于技术，而对变革管理重视不够，这就是如此多数字化转型失败的原因所在。Roche Diagnostics 的 Khawaja 说：“虽然正确的技术选择将使团队在 Data Mesh 中更好的运转，但不要从技术开始。技术是一个关键的推动因素，但如果不关注人，技术驱动的举措就会脱轨。”
ITV的 Bala 建议根据业务价值开始实施 Data Mesh，并关注“最后一英里”，也就是数据消费者“掌握”数据产品的时刻。这一关键时刻将揭示创建的数据产品是否有用。在开始构建任何模型之前，组织需要确保营销人员、操作人员、计划人员和其他业务线可以有方便、自助的工具来访问模型。他们还需要参与到流程中，以确保模型将产生业务结果。同时，采用“切片、迭代的方法”，Bala 说，这意味着使用小型、可管理的基础设施和少量数据，并端到端地开发这些切片用例。在这些首批用例显示出价值之后，组织可以从这里开始进一步演进。虽然开启 Data Mesh 可能基于切片策略，但 Bala 认为 Data Mesh 的潜力不仅是在企业范围内，而且还可以跨越公司和行业之间的界限。
- 相关阅读 -打工人的发展困境DDD的哲学意味（中）