双中台架构之数据平台建设方法详解
👆点击“博文视点Broadview”，获取更多书讯
在日常的公司运营中，除了设计贴合业务的系统功能，更重要的事情便是决定业务发展走势。要做到这些，我们依赖的一个重要工具便是数据。
例如，我们需要用日活来反映产品当前的客户数，需要用订单中商品的实际销量来分析年初计划中的核心品类销售进度是否健康。
那么，如何在一款产品背后搭建一套完整的数据分析体系，来支撑日常的产品数据需求，便是摆在所有产品经理面前的又一项挑战，当然中台负责人也不例外。
在一家公司中，中台负责人至少需要具备两个技能：
从 0 到 1 设计面向整个企业的中台产品架构；
搭建支撑整个企业的可扩展数据分析体系。
要建立一套数据分析体系，很多人看到这可能就开始犯怵了，因为在他们的印象中，数据分析体系的建立是一项非常庞大的工作，而设计这样一套数据分析体系更是让人无从下手。
从数据产品经理的视角来看，建设一套完整的数据分析体系确实是一项庞大的工作，从数据框架到数据分析体系，再到每个场景的具体计算逻辑，种类繁多，体系庞大。
但是如果我们只是设计一个数据框架，用来承接整个企业的数据体系，其实并没有大家印象中的那么麻烦。
接下来我便教给大家一个设计数据分析体系的方法，帮助大家快速搞定最基础的数据分析体系的设计。建设一套数据分析体系，其实只需要 3 步就可以完成。
也就是说，任何数据分析体系都可以拆解为 3 层，如图1 所示。
图1 数据分析体系的 3 层
数据采集层：负责数据采集；
数据处理层：负责数据的规整化；
数据应用层：负责数据的二次加工。
我们一个个地拆解看一下。
层 1：数据采集层
这一层的本质目的就是进行数据的收集，我们需要将公司内部各个节点产生的 数据收集起来，要做的工作主要有两项。
（1）分析并定义公司内部各个业务线所产生的数据。 例如，商品销量数据、商品上下架数据、订单数据、客户浏览行为数据。
（2）定义各个数据源的存储方式及集中存储位置。 例如，建立数据仓库及对应的数据表来存储数据。完成了这两项工作，我们就对整个数据分析体系最基础的原料完成了运输管道 的建设，如图2 所示。
图2 数据采集层
层 2：数据处理层
在采集了全公司的数据之后，我们要做的工作就是将分散在各个数据处理单元 中且需要实施的数据标准化操作统一实现。
常见的数据标准化操作分为如下 3 类。
（1）数据清洗：根据一定的数据规则，将数据中的异常值（如负数、零等）删除，从而使数据变得合理。
（2）全局数据口径对齐：我们经常会遇到一个情况，就是不同业务线及不同模块之间对同一数据指标定义的计算公式不同。此时我们就需要将用不同的公式计算 出的数据结果，按照一套标准的公式重新计算，得出唯一的结果。
（3）数据合并：在数据处理中，很多时候我们处理的数据是冗余的，所以我们需要对这些冗余数据进行一次合并，从而简化数据体量。
经过这样一套统一的数据标准化操作，我们就得到了全公司数据的唯一结果， 为上层应用取用数据打好了基础，不会出现上层应用计算出的结果偏差巨大的现象。
数据处理层的数据标准化操作如图3所示。
图3 数据处理层的数据标准化操作
层 3：数据应用层
完成了基础数据的统一采集，我们相当于拥有了一个包含全公司数据的数据全集，此时我们所拥有的数据便是公司内部最全且最准确的数据。
接下来我们可以根据各条业务线的需求去打造对应的数据应用。例如，最常见的数据应用便是数据报表，我们将业务方想要看到的数据以一定的组织形式展示在一张报表中，如订单报表、客户报表等。
此外，还有一些基于数据的辅助决策类应用，如采购预测根据近 7 天或近 14 天 的商品销售情况来分析出：
哪些商品属于畅销类商品？
商品的平均日销量是多少？
在下一周期中将需要多少量？
用现有库存减去预测量得到预测采购数量。
数据应用层的建设结果如图4所示。
图4 数据应用层的建设结果
经过对这 3 层的设计，我们得到了一个简单又全面的数据分析体系的框架， 如图5所示。
图5 数据分析体系的框架
我们可以根据实际业务的发展不断去扩充这个框架。例如，将新的数据加入 数据采集层和采用新的统一的全局数据处理方法，以及基于前两者开发新的数据应用。
这个数据分析体系的框架帮助我们从 0 到 1 搭建了一个可以参考、可以不断扩展的数据容器，后续我们只需要不断往里面填充具体场景的解决方案即可，这便是我们的设计思路。
企业除了对业务信息化有需求，还存在对数据的信息化需求。因此，中台战略不能只面对业务，还需要对数据提供一个全局解决方案。
除了业务中台，还有一个很重要的中台战略落地产物，便是数据中台，数据中台负责整个企业的数据资产管理。
现在中台战略已经演化出了双中台架构，如图6所示。
图6 双中台架构
在双中台架构下，由业务中台快速支撑前台业务应用完成落地，在将各业务线的不同应用装入数据仓库进行标准化后，形成企业级的数据应用（如统一化报表、前台数据应用）。
要想落地双中台架构，最好的路径是先建设业务中台，在实现业务标准化后， 再进行数据中台建设。
之前各个业务虽然都有订单与商品管理，但是不同业务之间是不同的，数据仓库也很难做到跨业务的经营分析，它只能让每个业务自己去进行分析。
在有了业务中台之后，数据仓库在把各个订单、商品的主数据体系统一之后，就可以实现跨业务的经营分析了，甚至还可以做到跨系统、跨业务的对比，然后再把结果反馈给前台业务应用，这一点在之前是不敢想象的。
我们来看一家商业地产管理公司内部双中台架构落地的例子。
该公司内部拥有多个业务系统：商场收银 POS、停车管理软件等。
该公司在通过业务中台实现了全商业地产多类型内部收单与外部订单的合并后，又基于数据中台打通了各个系统。
该公司存在多种业务复合场景。
（1）客户触达：在商业广场中任意门店完成消费。通过 POS 系统的会员卡 ID，我们完成客户到场消费的时间记录，确认该客户进 入了广场，通过门店消费我们第一次感知到了客户，并为客户确定了价格带。
（2）客户跟踪：电影院消费。客户在本商业广场的电影院进行消费，我们获取到了客户的偏好信息，给客户 打上了娱乐标签，并再次确认客户处于在场状态（未离开商业广场）。
（3）数据服务：在消费后 2 小时内免费使用停车场。
当客户准备付停车费时，该公司根据前两步获得的客户在场时长与消费金额， 自动判断消费金额是否超过指定标准，从而确定该客户是否享受免费停车。
我们发现通过这样的数据中台支撑，这个商业广场的会员有了价值，该公司就能把整个客户消费行为的描述数据串联起来了。
在《中台产品经理宝典》一书中，已经对数据中台做了深入的剖析，这里不再赘述，接下来会为大家讲解数据中台落地的方法论。
在搭建业务中台时，我为大家梳理并总结了一个完整的 MSS 模型，在数据中台落地中我们其实也应遵循 MSS 模型。
根据 MSS 模型，数据中台建设的第一个重要环节称为业务标准化（Standard）。也就是说，我们需要先对当前业务有一个标准化的定义，将公司内部不同业务线的业务流程梳理并合并为一套全公司通用的 SOP，在此基础上去建设中台。
这就好比我们要建设大楼，如果没有一个稳定的地基，上层建筑就无法稳定， 建设出的中台也会出现需求不符合、业务线不愿对接的现象。
在建设数据中台时也有同样的环节去完成，我们称之为数据中台预建设。
数据中台预建设分为两个步骤。
（1）标准化：完成对同一事物的统一描述。
例如，统一不同业务的指标口径，如在财务指标中，A业务使用毛利来进行业务 线利润统计，B 业务则使用税后毛利，从财务角度来看 A 业务与 B 业务使用的指标 就是不统一的，需要进行统一。
（2）中心化：数据权限上升至企业层面。
之所以会出现公司内部对同一事物的描述不同，是因为各条业务线根据自己的 需要定义了具体的业务对象与数据存储规则。
1. 预建：标准化
我们以 A、B 两个业务的会员数据为例。
A 业务定义的会员存储表如表1所示。
表1 A 业务定义的会员存储表
B 业务定义的会员存储表如表2 所示。
表2 B 业务定义的会员存储表
从表1 和表2 中我们可以直观地发现如下差异。
（1）A 业务的会员存储字段为 4 个，B 业务的会员存储字段为 5 个，因此 A 业务 与 B 业务对会员对象的定义在本质上就有所不同；
（2）在会员活跃度统计上，A业务关注会员的访问时间，因此在会员存储表中记 录了上一次访问时间，B 业务更关注会员的消费转化，因此记录的是最后消费时间。此时如果数据中台想要统计全公司会员的活跃情况，因为 A、B 两个业务的会员活跃 概念是完全不同的，所以这两者的数据也就无法直接使用。
针对上述情况，为了避免各项业务自主定义，数据中台通常会将数据权限进行拆分。
控制权限：拥有给上层应用提供数据的权利；
读写权限：拥有数据读取与写入的权利。
据此我们得到了分层数据体系下的不同权限内容，如图7 所示。
图7 分层数据体系下的不同权限内容
从图7 中我们可以看到业务线只有数据读取、数据写入权限，无数据控制权限。
通过这样的设计我们实现了数据中心化，也就是由数据中台向上层应用提供数据。
在业务线内部，每条业务线可以根据自己的需要定义数据应用，如在上面的例子中 A、B 两个业务定义自己的会员存储字段及会员活跃度。
一旦进入上层应用，由数据中台根据各条业务线推送至此的数据就需要进行重新计算，从而确保各条业务线的数据是使用相同的标准、算法得出的。
2. 预建：中心化
在完成了业务标准统一之后，接下来需要做的就是进行数据中心化，又称全局数据设计。
所谓全局数据设计，就是确定数据域，也就是确定整个数据需求的边界，以及我们需要为哪些业务对象设立指标并进行监控。
一般来说，数据中台的数据域管理可以分为如下两步。
（1）定义公司内部的统一主题：如会员、订单、商品等；
（2）完成数据归类：将属于同一主题的数据都归至一个数据域中。
在定义完数据域（如商品数据域、订单数据域）后，我们就可以在数据仓库中定义标准的数据堆了，每一个数据堆存储一个业务的数据域子集，这样便将各个业务的原始数据都堆积在了一起，如图8所示。
图8 数据堆
只有这样建设，我们在为上层应用提供数据时才可以对提供的数据进行重新计算。
至此，数据中台预建设的方法论就讲述完毕了。
本文摘自《中台产品经理：数字化转型复杂产品架构案例实战》一书，欢迎阅读本书了解更多中台产品的建设落地方案。
扫码查看本书详情！
发布：刘恩惠
审核：陈歆懿
热文推荐
▼点击阅读原文，了解本书详情~