数据中台是真火还是炒作?
数据中台真的火了么
数据中台真的火了么
马云老师在2019年说了一段话,“很多人会把数据比作石油,我们现在搭建的数据中台,就是希望扮演发电厂的角色”,这一段话,现在被大众认为是“数据中台”这个概念的起源。
在2019年的企业服务市场,中台概念之下的数据中台,铺天盖地而来,裹挟着行业里的甲方乙方,大家都在讨论,思考,也不乏争议和质疑,但是有一点,似乎数据中台火了。
那么数据中台是否真的火了呢?
我做了一个小小的研究,利用百度指数作为参照指标。
百度作为行业里中文搜索里基本垄断市场的王者(虽然我认为,搜索作为互联网的基础架构,百度已经做烂了,而且如果百度做的好一点,出现头条,微信这样的私域流量的内容巨头的可能性就小很多,但是目前,我们还是必须面对,百度占据中文搜索的大部分市场),能够客观地反应中文语境下,一个概念的受关注程度。
百度指数就是量化的体现受关注度的一个指标体系。
百度指数分为两个体系,一个是搜索指数,一个是资讯关注度。搜索指数体现有多少人搜索了这个关键词,资讯关注,是这个关键词在各种媒体资讯中出现的频度。
资讯关注度,很多时候受关度键词相关方的市场推广,软文,通稿的影响,体现关键词相关方在这个概念推广方面的努力程度和传播广度。
搜索指数,是所有在搜索引擎上搜索了这个关键词的次数的统计,相对真实的体现行业对于关键词认知和热度。
所以,我们更多的将关注搜索指数。
为了客观地体现数据,我将数据中台,数据仓库和中台,三个关键词作为组合研究。
“中台”和“数据中台”
我们先看一下“中台”和“数据中台”的搜索指数。
上图清晰的体现了中台和数据中台的,搜索指数,绿色的是中台,青色的是数据中台。
从2012年开始,中台这个词就有被搜索,出现的最早,但是一直停留在一个比较低的搜索数据,不到20的日均值。
数据中台在2018年6月4日,一下子突破了100的搜索日均值,然后一直保持上涨趋势。
在2019年5月13日到2019年5月19日,网络对于数据中台的关注暴涨,直接达到497的搜索日均值。这期间,中台被搜索的日均值还是0.
接着,2019年5月20日到5月26日期间,中台的搜索数据,突然崛起超越了数据中台。
在2019年9月26日,中台的搜索热度达到历史顶峰,日均搜索1667。
当然,这个直接可能的原因就是,2019年的云栖大会是9月25日到9月27日开的。
“数据仓库”和“数据中台”
说到数据中台,就不避免的谈到数据仓库,数据仓库作为过去十几年企业数据领域的主要承载平台,一定程度上推动了企业的数字化转型,那么我们来看看行业对于数据仓库和数据中台的关注度的关系。
上图是数据仓库和数据中台关键词的搜索指数。
我们可以看到,从2011年以来,数据仓库一致以来保持着持续的搜索热度。
直到2018年6月4日到10日,数据中台略受关注,然后一路保持增长,直至翻转超越数据仓库的热度。
发生转折的时间点在2019件6月17日到6月23日,数据中台的关注度第一次超越了数据仓库,然后就一直保持着领先的态势,目前仍保持着高速的增长。
关键发现
从以上几幅图的数据分析,有以下几个关键发现(蓝色的线是数据中台,绿色的线是中台和数据仓库):
数据中台的受关注度早于中台
数据中台的关注度在持续增长并且超越了中台的关注度
从下图看出,中台展示出下降趋势,并且数据中台的搜索量最近超越了中台
数据中台和数据仓库的总体受关注趋势是一致的
数据仓库和数据中台的总体受关注度的趋势是保持一致的。
数据中台的受关注度已经超越了数据仓库
2018年开始启动的数据中台热度,在2019年7月份超越了数据仓库,并且目前持续走高。
从以上的数据分析来看,数据中台的确是火了,而且是在越来越受关注,越来越火。
数据中台现象的本质剖析
每一个现象的背后,都有其根本的原因,我尝试去理解和剖析数据中台火爆背后的根因,这个现象代表了什么样的诉求和变化。
还是利用百度指数,我发现,大数据的搜索量依然远超数据中台和数据仓库,并且趋势走向和数据中台也是一致的,但是大数据整体的热度,已经没有前两年那么火热了。
在今年三月份的时候,中国数据价值研究中心发起了一个数据中台的调研问卷,收到了超过400份的有效问卷,问卷中以下的数据可以帮助我们去剖析数据中台现象。
数据中台是一个体系
百分之百的参与调研的对象都认为,数据中台是一个体系,而不仅仅是一套软件。
所以,数据中台和大数据,数据仓库是有本质的区别的,大数据是一个愿景,是一个概念,数据仓库是一个具体的软件系统,而数据中台是一个体系。
数据中台对于企业的价值
在问卷中,有一个主观题,让所有的被调研对象填写他/她认为的数据中台对于企业的价值。
我将这个问题的所有的答案做了分词,做了词频统计,用如下词云的方式做了展示:
可以看到,前10名从上到下分别是(排除数据这个词):
业务,数据服务,价值,快速,场景,统一,赋能,资产,孤岛,打通
从这些关键词中,我们就可以看出,数据中台受企业关注,追捧,形成行业级现象背后的几个大的根因。
业务对于数据部门或者数据平台的需求从来没有变化过,那就是:
快速为业务提供基于统一,打通数据资产之上的数据服务,从而赋能业务场景,产生价值。
为什么是数据中台而不是数据仓库
这是一个很尖锐,但是直击灵魂的问题。
坦率地讲,我看过一些现在行业里打着数据中台大旗的产品和解决方案,但是,有不少都是挂着数据中台的名字,干着传统数据仓库的事情。
我从13年前就参与了多个企业级数据仓库的规划,咨询和实施。包括Cognos、BW、Microstrategy、BIEE等。我个人认为数据仓库和数据中台不是一个维度的事情,他们之间并不冲突。
数据仓库在数据中台时代是依然有价值的,并且可能很多时候,企业在构建自己的数据中台的第一步,就是构建一个数据仓库。
但是,企业在构建数据仓库之前,要有一个数据中台的全景蓝图,数据仓库的构建,只是为了填补这个蓝图中的一部分,数据仓库的构建不是数据中台的全部,更不是目标。
数据仓库,是一个相对标准化的技术平台,是可以有成熟的,高复制性的软件产品的,而数据中台则绝对不是,数据中台与企业的业务息息相关。
正如《中国数据价值研究中心-数据中台行业调研报告》中所调研的那样,超过60%的被调研对象认为,数据中台应该距离业务更近,是一个业务系统,而不是一个技术平台。
所以,数据中台是有的非常强的业务属性的,与企业的文化,业务模式,历史沿革,组织结构,绩效体系,流程治理都息息相关,这样的一个体系的平台,是不可能有标准化的,整体复用的解决方案的。
数据中台的功能体系
ThoughtWorks数据智能事业部在2017年的时候就提出了数据驱动的智能企业的愿景,以及支撑这个愿景的六大功能体系(那个时候,我们还不叫它中台,我们叫它数据资产创新平台,并且落地了行业里第一个跨5个产业板块,拉通数据,打通会员、订单和支付体系的数据资产平台)。
这样的一个体系很庞大,它的建设一定不是一天完成的,也不是安装一套软件,建几个应用就可以达到的。
所以,如何整体规划,探索并识别业务场景,并快速启动,持续产生价值呢,我们探索了一个体系(LDIM),精益数据创新体系能够帮助企业Top-Down和Bottom-Up联动的区建设数据中台。
数据中台的承载体系
数据中台是一个体系,它包括如下的构成部分:
战略和治理部分
数据中台是以数据作为原材料,加工数据服务支持各个业务应用和前端用户的一个数据业务系统。既然是业务系统,那就就需要有业务战略和规划,企业需要制定清晰的数据战略,包括业务价值,业务场景的识别和规划,数据资产的规划和治理,以及技术战略,运营战略和组织结构等。
清晰的数据战略是数据中台落地的基础和前提,但是我们所提的又不是那种传统的做的很重,很细致的战略,是比较轻的精益数据战略和精益数据治理。
技术和平台
在战略的引导下,对齐业务价值优先级,企业要构建自己的数据技术产品和平台。主要包括五大部分:
1.数据智能的持续交付平台,这是所有的数据服务、数据产品、数据平台的基础设施,保证自动持续的集成和交付,我们叫它DataOps和AIOps
2.数据自服务平台,数据平台是打通所有数据,存储,管理数据的基础设施。
3.面向业务的数据服务产品,这就是可复用的数据能力组件。
4.企业的机器学习平台,也就是智能服务平台,它持续的,生产,帮助企业规模化应用和落地人工智能,赋能所有的业务场景。
5.智能服务产品,基于机器学习,人工智能的智能服务,是可以复用的算法模型和智能服务。
组织和运营
数据中台不是一个项目,它为客户和企业内部其他部门,提供基于数据的服务和产品,是要和其他业务部门协作产生价值,并能够度量价值的,最终是一个可以独立运营的组织体系。
所以,在企业层面,数据中台对应的是一个组织部门,并且有套完整的运营体系。
构建数据中台的四个蓝图
如何构建数据中台?
我们认为企业需要构建如下的四个蓝图,我们用三个圈来表示:
业务蓝图
识别,梳理有价值的业务场景
构建价值全景图
结合业务战略,进行优先级排序
业务架构顶层设计
数据蓝图
分析数据现状
诊断数据问题
构建数据全景图
精益数据治理
围绕业务场景设计数据服务目录
技术蓝图
梳理技术架构现状
识别诊断现有架构问题
对关键点进行技术验证
设计数据中台架构
数据服务化技术赋能
运营蓝图
分析梳理,制定数据驱动的业务运营体系
构建数据运营团队,建立持续数据分析能力
构建数据价值度量和绩效体系,持续深化数据应用
数据中台承载着企业转型成智慧企业的愿景
回顾数据这个行业,其实很传统,很悠久,数据比软件这个行业诞生的更早,早在人们用笔,用纸记录,用算盘,用石子计算的时候,数据就已经被人们所认知并利用了。
在软件诞生之后,数据的利用可以分为四个阶段:
数据1.0
最早的单机软件时代,大部分数据是不被存储在计算机里的,只是计算的副产品。
数据2.0
到了ERP/OA时代,也就是企业信息化时代,企业需要跨域的数据分析,从而建立决策支持的能力,辅助企业管理,就出现了数据仓库和商业智能,这个时期,主要是对结构化数据的分析。
数据3.0
随着企业数据的多样化,业务对于数据分析的需求越来越多,不仅要分析结构化数据,还要分析非结构化数据,企业数据湖应运而生。
数据4.0
在数据仓库、数据湖的基础上,结合云计算的强大算力,机器学习,深度学习等人工智能的技术被广泛应用,这是挖掘数据价值的新的利器,从而让人们能够发现在统计分析之外的业务规律。这个阶段的代表就是数据中台。
从数据1.0到数据3.0都有一个共同的本质,数据的利用还是以人作为用户,还是人看数据再去做决策影响业务。
数据4.0实现的跨越就是,数据中台的数据服务的用户,不再是人本身,而更多的是业务应用,数据服务将直接嵌套到业务系统中,去驱动和改变业务的发生。
数字化转型的第三个浪潮-智能化(IE-Intelligent Empowerment)
穿过数据中台的各种资讯,各种创业融资,各种火热的信息的迷雾,我们看,数据中台到底承载了企业的什么样的愿景。
我们认为,数据中台承载的是企业智能化(Intelligent Empowerment)的业务目标。
数据中台将成为企业业务拉通,融合,创新的生产力平台,从而将数据智能的能力规模化赋予所有的业务场景。
数据中台,任重而道远,也许明年,这个名词会改变,但是,企业对于智能的需求和愿景,是不会改变的。