谈谈主数据管理MDM未来的6个主要趋势
在人工智能驱动的世界中，您的主数据管理(MDM)之旅是否走在正确的轨道上？您是否专注于通过机器学习增强MDM平台？LLM和MDM的相关性如何？让我们将所有这些问题放在上下文中并回答它们......
主数据管理——自2000年以来的发展情况
业务利益相关者需要干净、有意义且值得信赖的数据，以帮助他们自信地推动业务决策。主数据管理是一种数据架构，它提供了一个平台来管理数据的质量、访问和所有权。它有助于将主数据工具中的正确数据实体集成到ERP、CRM、HR、财务或数据仓库、报告或BI系统等组织内部的相应目标或业务线中。目标也可以是组织外部的，例如与数据池联合，例如全球数据同步网络—GDSN（例如：1WorldSync、GS1-Net等）或电子商务网站，或第三方供应商、贸易合作伙伴等。
有多种可用的MDM工具和平台，其中大多数都加载了主数据功能。这些领域中著名的领导者和参与者有石化盈科、三维、零三科技、用友、金蝶、SAP、Informatica、Semarchy、Stibo、Reltio、Profisee、PiLog和Syndigo。如果您是新买家，您可以考虑将石化盈科MDM评估为全面的MDM工具，从功能和整体潜力来看，它是满足所有MDM需求的平台。然而，以下内容是对MDM趋势的与工具无关的观点。
总体而言，MDM是组织数据架构的关键组成部分，用于管理B2B或B2C客户、供应商、供应商或合作伙伴、法人实体等各方或产品、材料、服务、资产、位置等关键数据资产。一个好的主数据工具还能够管理企业参考数据，例如行政区划、地理位置、业务代码、计量点位和行业分类代码。参考数据是可与主数据一起使用的关键、重要的数据元素。
除了在多领域方面管理关键数据资产外，MDM工具还应该是多方面的，即服务于数据管理员、数据审批者、数据分析师、数据管理员等各种角色的工具。关键是MDM平台可以将所有数据利益相关者聚集在一起，以便他们能够对数据有共同的理解，管理主数据的生命周期并建立信任。
MDM平台的前瞻性趋势
作为一名高级专家顾问和长期的MDM从业者，我总是会收到有关MDM与当今业务需求的相关性的问题。我看到了多种不同的技术浪潮，例如通过区块链和现在的人工智能（AI）驱动的大数据、云和去中心化。
在所有这些趋势中，数据始终是满足业务需求的关键要素。在我看来，有效管理数据以使用正确的数据架构解决业务问题是成功的关键。趋势将会不断出现，其中一些趋势会保持相关性并增强数据管理体验，而另一些趋势最终会被证明是无关紧要的。今天我们所看到的趋势之一是各种类型的人工智能(AI)，如自适应人工智能、生成式人工智能等。人工智能将继续存在，就像20世纪50年代以来的那样。此外，人工智能只会帮助有效管理数据来满足业务需求。
因此，让我们关注市场前景，以确定将加强我们组织中MDM使用模式的趋势功能。
在我们深入探讨我对新趋势的看法之前，我们先从ResearchAndMarket.com报告确定的MDM全球整体市场前景开始。报告称：主数据管理市场规模将从2022年的167亿美元增长到2027年的345亿美元，预测期内复合年增长率为15.7%。合规性需求的不断增长、数据管理中数据质量工具的使用增加以及多领域主数据管理的上升趋势等各种因素预计将推动主数据管理技术和服务的采用。
趋势#1：MDM与OpenAI或大型语言模型(LLM)集成
在过去的几个月里，科技界看到OpenAI（生成式预训练转换）GPT模型的趋势是一种现象。特别是从小规模模型向大规模模型的转变。MDM或数据提供商等软件应用程序和工具将开始利用这些AI模型与LLM集成，并启用自然语言界面来交换和丰富数据需求。根据Gartner成熟度曲线，基于LLM的集成正处于早期阶段，只有早期采用者的用例处于发现阶段，可用的权威参考架构非常少。响应具有不可预测性，可能无法针对特定用途进行情境化。此外，在撰写本文时，LLMAPI的成本对于合理化此类集成来说非常高。
当LLM整合成为主流时，这是值得关注的领域。因此，在这种背景下，现代MDM背景下可能的用例如下：
用例：众所周知，MDM工具可以与外部源集成以满足各种数据丰富需求，从而根据可用信息构建最佳版本的数据。例如，与天眼查或企查查集成以丰富B2B组织信息，与Experian、Trans-Union等信用报告数据提供商集成，以获得B2C消费者的准确数据。每个垂直行业都将拥有此类领先的行业特定数据源，有助于丰富主数据。当LLM模型更具预测性和可靠性时，这些模型可能是主数据丰富的额外来源，或者特定行业的数据提供商也可能与LLM模型集成，以进一步评估、审查和扩展其数据以获得更高的准确性。无论哪种方式，让MDM能够直接或通过特定行业的数据提供商与LLM集成肯定会成为一种趋势。
趋势#2：增强型MDM
过去两年，增强型MDM一直是数据管理领域的流行趋势。然而，关键是嵌入机器学习(ML)功能，通过训练MDM工具自动解决重复、提高数据质量并提供基于ML模型的自动化建议，从而驱动业务价值并自动化决策功能。这就是使用术语“主动和增强”的原因，它们是MDM工具成熟周期的演进阶段。使用机器学习代替传统的分析和可疑解决正在增强人类行为。在人类或MDM工具被动或被动地解决数据冲突后，使MDM通过重新训练ML模型来学习的过程是MDM主动和增强的原因。另一个术语“无人驾驶MDM”与增强型MDM类似。就像自动驾驶汽车可以在自动驾驶模式下启动一样，汽车可以在自动驾驶模式下进行驾驶决策，驾驶员可以在需要时收回控制权。同样的概念也适用于MDM中的自动化决策。关键是，这些是MDM工具和功能技术成熟的各个步骤。作为在组织中建立牢固的MDM实践的过程，数据架构团队负责与其MDM供应商合作，在可用时实施此类功能。
用例：MDM最常见的用例是通过CRM、ERP等各种来源整合数据。像缔约方这样的多个实体以原始形式存在于这些来源中，在每个系统中具有不同的表示形式。这些用例的目标是使用匹配和合并等MDM功能（主要通过内置工作流模型驱动）将它们整合为单一事实来源。为了利用自动化和扩展的优势，匹配工作流程应该先进，以便能够与ML模型连接。这将有助于解决重复问题并管理生存情况，从而实现MDM工具的黄金记录。此外，该工具应该提供基本的ModelOps功能，或者应该能够与ModelOps工具集成，以管理、维护、训练/重新训练模型的版本、部署生命周期等。这是将ML模型嵌入到MDM中的一方面驱动业务决策的工作流程。
下一步是用例的人工智能方面。现在，MDM系统部署了一个ML模型，以利用人类（数据管理员）或ML模型解决可疑问题的业务决策。基于该模型，MDM应该能够提供建议，其中类似的决策可以应用于其他记录列表，以便在现有或新的黄金记录中对它们进行分组/取消分组。此类主动建议有助于根据系统或人类如何通过重新训练的ML模型做出决策来了解数据在一段时间内的运行状况。解决主动建议的最终决定完全取决于数据管理员。关键是要了解系统根据一组操作或根据部署的重新训练模型推荐什么。构建推荐系统可能需要选择替代数据库，例如矢量数据库，以便使用ML模型矢量数据库有效地存储数据上的矢量嵌入。
趋势#3：MDM功能的持续自动化
这与AI/ML功能同样重要。通常可以嵌入AI/ML来实现MDM流程的自动化。我们在上一节中讨论了一个这样的用例，其中匹配工作流利用AI/ML功能，就像其他MDM功能也可以通过AI/ML来利用自动化驱动一样。
用例：MDM工具中的数据必然会发生变化。关键是MDM功能必须积极工作以持续自动化流程，以将MDM数据的更改状态与定义的所需数据状态相匹配，例如：如果MDM抽取作业包含导致作业失败的不良数据。根据所需的状态配置，作业处理程序应该能够采取适当的操作来删除不良数据并重新启动作业。这同样适用于数据质量流程，以确保数据的健康状况达到所需的状态配置。MDM的另一个重要特征是数据的分类或分层表示。数据状态的变化应该触发分类或层次结构的自动重新调整。
如果您熟悉Kubernetes，可以打个比方，当在Kubernetes的Pods清单中定义时，协调循环的工作就是始终确保多个Pod的活动状态与所需状态匹配。
同样，MDM工具的创新可以定义数据质量分数、主动数据分类规则、如何创建数据链接，以及当增量负载通过源系统时，如何主动整合数据。简而言之，需要有一个定义清单，数据管理员可以在其中指定所需的状态，而MDM工具可确保实际状态与持续自动化的所需状态相匹配。清单的定义可以通过审批流程来驱动，因此对如何定义所需状态进行治理和变更管理。
趋势#4：知识图谱和多领域MDM方法
虽然知识图谱并不是一种新趋势或技术，但我看到许多MDM供应商在MDM工具中提供了添加图形可视化的功能。然而，我还没有看到很多组织充分利用它。排除可能是一些制药公司依靠知识图谱来分析物质和药品等关键数据元素之间的关系。
知识图谱谱就是未来，其实在我看来，现在说它是未来有点晚了。随着组织管理的数据量增加，图形数据库等替代数据库将使知识图谱的实现更容易确定正确的数据连接，以查看以前从未探索过的模式。它将有助于更有效地推动业务。当我们讨论数据驱动的业务时，更多的是基于数据的分析和报告。然而，知识图谱谱将有助于提高业务敏捷性，从而在整个组织中产生连锁效应。
大多数MDM工具要么依赖于关系数据库，要么依赖于某些专有的语义模型。我们知道这两种方法都限制了数据遍历，并且没有针对数据可视化进行优化，因为它应该是可视化的。MDM供应商已经接受，需要有一种通过节点、边和关系属性更好的数据表示方式，而不是行和列。
用例：由于需要将MDM实施从单域扩展到多域，通过图形的连接性最为重要。以我为汽车行业实施多域解决方案的经验为例，B2C客户数据模型是客户的集合。其他域是位置、产品和服务。通过完整实施多领域MDM解决方案和知识图谱，该组织能够连接关键数据点来推动数字营销活动。例如，家庭内链接的客户、客户喜欢的服务地点、在不同地点受欢迎的服务项目和产品等。这是MDM系统中提供的重要洞察。
趋势#5：MDM部署策略
尽管科技界正在优先考虑其转型计划，以减少本地数据中心的占用空间并迁移到云端，但上述研究与市场分析报告指出，许多MDM实施更倾向于本地部署。
我见过MDM产品公司推出SaaSMDM（单租户SaaS&多租户SaaS）；然而，任何企业SaaSMDM的采用率都没有达到预期。整体数据隐私和治理方面正在减缓关键企业数据资产向云的迁移。根据评估和适合度，MDM部署策略的选择将继续成为组织的首选方法。
作为一名顾问，我的建议是选择MDM即服务(SaaS)或提供托管服务的MDM供应商，以摆脱基础架构和应用程序管理，而专注于MDM实施。
趋势#6：通过行业特定解决方案采用MDM
将要投资MDM工具的企业总是会欣赏适合其行业背景的售前演示和功能证明。这有助于加快购买过程。同样，为了使MDM客户会体验加速，MDM实施供应商或专业服务提供商可以提供打包的MDM行业解决方案，帮助更快地实现价值和投资回报。
在我作为MDM从业者和进入市场策略的旅程中，我的团队推出了多个此类行业特定的打包解决方案以加速并成功实施MDM，并加快价值实现时间。我们注意到它确实有助于更快地采用并优化部署时间。对新的实施企业的建议是评估其行业的实施难易程度。MDM供应商应将其视为标准产品，以加快部署时间。
最终，MDM将继续成为将内部系统与MDM数据集成或与外部贸易合作伙伴发布的组织值得信赖的黄金数据来源。讨论应有助于采用实施MDM的新趋势来推动业务成果，并继续成为业务用户的战略平台。
往期推荐