导语 | 数据中台被誉为大数据的下一站，成为了人们谈论的焦点，2019年也被称为数据中台元年。但是数据中台是什么？它和数据仓库、商业智能、大数据平台有什么区别？它的主要功能是什么？本文是对TVP史凯老师的直播演讲整理，为大家剖析数据中台的愿景和本质。「TVP思享」专栏，凝结大咖思考，汇聚专家分享，收获全新思想，欢迎长期关注。（编辑：云加社区 涛涛）
作者简介：史凯，花名凯哥，腾讯云最具价值专家TVP，ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初，在IBM 研发企业级中间件，接着加入埃森哲，为大型企业提供信息化架构规划，设计，ERP，云平台，数据仓库构建等技术咨询实施服务，随后在EMC负责企业应用转型业务，为企业提供云迁移，应用现代化服务。现在专注于企业智能化转型领域，是数据驱动的数字化转型的行业布道者，数据中台的推广者，精益数据创新体系的创始人，2019年荣获全球Data IQ 100人的数据赋能者称号，创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业，并在多个企业验证成功，正在向国内外推广。
去年3月份我写了一篇关于数据中台的文章，得到了10万+的浏览量。我当时非常意外，怎么这样一篇1万多字，还不是特别好理解的技术类的文章能得到10万+呢？这个现象是不是意味着，数据中台热起来了呢？作为一个数据工作者，我从不靠直觉做判断，我们尽可能的利用数据作判断。我第一时间注册了“数据中台”这个百度指数，然后观察它的搜索热度。因为，不像过去所有的IT概念、云计算、大数据等全是来源于国外，中台是中国人自己发明的概念。所以我们通过百度的搜索指数，也能够看到数据平台在行业里的热度。下图展示的是：数据中台和数字化转型的百度搜索指数的热度对比，能够发现数据中台搜索热度在2019年初，正好是3月份的样子，已经超越了数字化转型的热度，并且在发生启动前达到顶峰。再来看跟数据中台相关的商业智能、数据仓库两个概念。在过去，数据仓库、商业智能都是非常火热的概念，尤其是数据仓库。而在今年数据仓库有了下滑的趋势，数据中台却到达了顶峰。现在数据中台已经超越了数据仓库加商业智能两者的热度总和，这说明现在行业里面，特别是甲方的企业需求端，对于数据中台越来越关注。数据中台的火爆一定不仅仅是厂商在炒概念，它也一定承载了很多行业、甲方、想做数字化转型的企业，对于数据中台的期待。因为原来的很多需求满足不了，所以才需要一个新的概念来承载这些期待， 数据中台因运而生，那么数据中台背后承载的是什么呢？我在2019年3月份就发起了一个数据中台行业调研，收到了超过460份有效问卷，对调研者为什么关注数据中台做了词频的分析，如下图所示：我们会发现，有四个期待是排名最靠前的：业务，数据服务，价值和快速。解读如下：以前的数据部门离业务部门有距离，业务部门不能直接使用数据，也不能直接地在数据当中发现价值，业务迫切希望距离数据更近，这是最大的一个需求。过去数据部门提供的都是可视化辅助决策类的服务，而企业希望数据中台能够提供高响应更实时的数据服务。如何能够让数据直接产生业务价值，是企业非常关心的问题。（5）企业希望数据中台和数据能够围绕业务场景来开展工作还有诸如：赋能业务更智慧、构建统一数据资产、打通数据孤岛等企业方面的迫切需求。总的来说，很明显能看到企业对于数据中台这个概念承载的重大期待。那为什么数据仓库、数据平台、商业智能就解决不了这些问题呢？2. 数据中台、数据仓库、数据平台与商业智能的区别我在2008年起就负责过一些SAP BW/Cognos/Microstrategy类数据仓库的项目，对传统的主数据管理，数据治理很熟悉基于这些经验，总结了数据仓库、数据中台和商业智能之间的区别，还用一个《数据中台闹革命》的图片故事做过描述。实际上它们之间根本不在一个维度上。数据中台是个概念，而数据仓库是一种具体的技术领域，它也已经有对应的标准化的产品。商业智能一方面也是一个概念，另一方面它也有对应的产品。传统的商业智能和数据仓库，是以分析报表为核心。把数据加工成分析报表，提供给决策层去看的。这样的辅助决策系统，叫商业智能，它的底层是数据仓库，因为它要跨域存储和处理加工企业的历史数据。数据平台是企业有了大数据的情况下，希望能够采集全量的数据，包括采集非结构化数据的大数据平台。数据仓库、数据平台都是技术类系统，不能直接服务于业务。而数据中台，企业希望它能直接服务与业务前台。商业智能主要的用户是决策层，它主要提供服务的方法是分析报表、数据湖和数据平台。它的主要的使用对象实际上是数据开发者、数据技术人员和数据分析师。它给这些使用者提供数据集、 Data Set。Database as a Service。数据中台的用户则是企业所有的数据用户，数据消费者，还包括业务系统。所以总的来说，通过我们前期的调研、沟通、行业里的反馈发现，对于企业的业务用户来说，企业希望数据中台是能直接服务于业务的平台。它能离具体业务更近，以多种方式为业务、系统提供数据产品。在这样的场景下，我们认为数据中台区别于前两者最大的特点是：它提供的产品是Data API，是数据服务。这是从使用的用户和它自身的特点出发来看待它们之间的区别。如果从出发点来说，现在的技术选型、技术工具是很多的，但是最重要的是我们对一件事情的概念上的认知，只要目标和认知清晰了，那么实现它的办法是有很多种的。数据中台和数据平台最大的区别是什么？我们认为数据中台是离业务更近。业务需要什么服务？是数据中台和数据服务。中台的部门或者团队，最优先考虑的是提供给业务所需要的服务。但数据平台不一样，数据平台最核心的是数据的存储、加工。对于数据平台，是有什么数据才能干什么？所以出发点不一样，一个是带有业务视角的，以需求为导向的，另一个是以技术和数据为导向。 还有一点是度量角度不同，数据中台做的好不好，对于企业的价值更多体现在数据服务和的提供数据服务的客户满意度。数据平台看重是数据的质量，它是把数据集提供给用户去使用，数据质量好和不好是最关键的。上述就是数据中台、数据仓库、数据平台、商业智能，它们之间的区别。数据中台是为企业所有的数据消费者提供数据服务/产品的平台。3. 数据中台对企业的价值
在过去做一个应用系统的时候，我们很少会把数据的工作分开。当需要拿数据去做统计分析的时候，开发人员自己去找数据平台要数据源，然后自己开发。实际上是应用开发团队在做数据的事情，而企业是有很多的应用同步在开发的。应用开发的时候可能一张报表需要开发很长时间，因为应用的开发技能和数据的开发技能还是有一些区别的，并不是所有的应用开发人员都会ETL和数据建模。它对数据的模型、数据后台的字段的含义可能了解不多，开发效率就就比较低。不同应用项目开发的时候，取数逻辑不一致，计算逻辑不一致，取数的版本也不一致。最后两个应用当中同样的数据，出来的结果却不一样。这不仅仅增加了工作量，而且还带来了数据不一致的问题。应用开发的人很多，但懂数据开发的人员却很少。这种情况下，数据中台就可以起到作用。它帮助原来那些做应用开发的，但是要去做数据开发事情的这些团队，解决这个问题。让应用开发专注应用，让数据开发专注于数据，中间多了一层数据服务的开发。在中间多一层，让应用开发团队都去取，这些数公有的数据服务，实际上有很大的价值。同时它能沉淀企业的数据逻辑，提升企业数据共享的技术能力。下图所示的是Gartner的分层架构的理念，和现在讲的中台概念实际上是一脉相承的。在Gartner里面，它把系统分为三类，一类是最前端的创新型系统，一类是在后端的记录性的系统。中间这一类是连接创新型系统和技术型系统之间的系统，它把前台叫做敏态，后台叫做稳态。比如现在企业里的ERP，偏企业后端、生产、财务、HR的这些后端系统，它的变化相对比较小，我们就可以把它叫稳态系统。但是最前端的，典型的如H5广告营销、用户画像这样的一些系统，它是随着外界市场需求的变化而变化。系统更需要的是快速地应对变化，快速的产生新的功能，我们称之为敏态系统。两者之间的断层，就是中台的概念。连接前台和后台，让他们之间的速度更加的协调一致，并且让后台提供服务，更加的敏捷、快速地为前台做支撑。对应到数据中台，总的来讲可以理解为：加速原数据产生业务价值的服务工厂。一个客观的事实是：市场的变化的速度是远远快于数据采集的速度的。这是现在数据质量、数据一致性、实施性和数据集成性的问题的一个根本因素。而数据中台则希望去弥补这样的一个速度差，加快从数据的采集，到响应市场变化的速度。
下面重点介绍国内常见的数据中台的架构，从源头来看，数据中台首先由阿里提出来的，但实际上并不意味着在这个名词没有产生之前，企业就没有数据中台类似的概念。在2016 ～ 2017年的时候，我们自己的数据资产集成和创新平台，虽然没有把它叫数据中台，但实际上做的事情是类似的。阿里的数据中台，最核心的就是三个东西，One Date、One Entity和 One Service。总结为：业务数据化、数据业务化和业务服务化。因为阿里的业务是由于它企业的性质所决定，它的很多的业务非常相似，基本都是零售型的业务。这样的情况下，它的用户数据，标签数据、客户画像、商品数据、位置数据等这样的一些数据是广泛得被它所有的前台业务所使用的，拥有非常强的可复用性。而阿里又是一个原生的数字化的企业，所以在一开始的时候，它就把所有的业务全部沉淀成数据，这就是阿里整体的数据采集、数据接入和数据资产的管理。在这个基础之上，阿里的公共数据中心、One Data体系，构建数据实体，也即业务实体。其中就包括面向业务的，类似于传统的数据仓库里的 Data Market 这样的概念。然后以中间的加工数据的对象，快速产生它前端的vice service。所有的service提供给它最前台的应用，让这些应用通过service去调用，保证了数据的一致性。同时由于它构建了统一的这种电商、零售、用户为核心的数据体系，前端的应用就能够从跨域的、全域的数据获得及时的预测、优化响应等，这就是阿里整个数据中台的体系。再来看一下菜鸟的数据中台架构，菜鸟虽然和阿里是一个体系，但是它和阿里的中台还是有一些差异的。菜鸟的数据中台主要分为三个大块。第1块是服务层，第2块是数据层，第3个是数据管理的套件。实际上它跟阿里的中台一脉相承，最核心的是把数据质量比较高的数据存储在数据中台，然后通过服务的方式提供给前台的这些运营、业务、商家、货主和它的生态的公司去使用，这就是菜鸟的数据中台的整个架构。再来看苏宁的数据中台。我认为苏宁是介于互联网企业和原生企业之间的企业，它的数据中台实际上体现了传统企业向数字化企业转型的过程。它重点强调的是从原来的流程驱动，变成像业务、技术和数据驱动。把原来的IT系统集成，变成通过数据去集成，下面我们来看看滴滴的数据中台，滴滴的数据中台强调了一个很重要的点，那就是：数据中台，它不是买来的！滴滴的数据中台和其他的数据中台有所差异，它的数据中台的整个生产价值曲线，跟大部分的企业都不一样。滴滴的数据中台跟前面介绍的数据中台，在数据服务、数据资产，底部的数据存储上是类似的。但是它更多的会去强调一些阿里的中台里所不突出的东西，比如他强调的数据文化，以智能数据目录为核心，以及精益敏捷的数据治理，也非常有借鉴意义。我们会发现滴滴的数据中台，最大的一个特点，就是价值交付。从场景出发，以业务牵引数据的产生，做到价值交付。它提到了一个很重要的点，就是利用数据中台去赋能AI。这一点和我们现在所讲的数据中台的架构是类似的，因为我们是把机器学习平台放到了广义的数据中台里面去了。数据是什么？数据就是物理世界中的实体在数字化世界里的投影。投影就得有个灯照着，但是你站在不同的业务条线，这个灯是不一样的。比如说财务，同样的一个订单，或者同样的一个物理世界里的业务行为，在财务这里投影出来的 ID和数据，用财务语言描述就是应收应付、凭证等。但同样的业务行为在物流那里，就又不一样的，描述成收货单、发货单等。所以同样的一个业务行为，在不同的视角下，业务的含义是完全不一样的。企业的发展就是要让这些业务行为更加的分层、更加的细化、更加的多维度。所以在业务的角度，是希望对用户的描述、标签这些维度越多越好！但是这就给数据带来了多场景的困难？数据整体的来源不一致，维度不一致，难以采集、管理和加工。其次，从数据到价值是一个协作的过程，把海量的数据组织在一起协作是是非常复杂的。总而言之，滴滴提的这两个数据中台建设的核心难点是非常有价值的。接下来我们再来看OPPO的数据中台架构，OPPO是一个手机的厂商，但是它现在也构建了海量的数据。它分成4个层次，第1是统一的工具层，全链路接入、治理、开发、消费、数据全链路，都通过工具自动化处理第2，它的核心是在工具体系之上的数据仓库。在数据仓库基础之上构建全域的数据体系，把所有的数据都打通，形成统一的标签，跟阿里的Data Entity是一致的，然后最顶部是数据产品和数据服务。在OPPO这个体系里面，数据仓库处于非常核心和基础的位置。我们最后再来看一个，相对传统的电信企业的数据中台。它通过数据中台去打通公共的数据，提供数据模型标准化的数据服务。然后为业务人员和数据的使用方提供个性化的开发工具，满足一线的数据开发和智慧运营的要求。所以上面的案例可以看出，实际上前面所讲的这些企业，不同行业的，有原生互联网企业、有传统数字转型的企业，也有大型的电信企业，它们的数据中台承载的都是什么？实际上都是数据业务化。就是把数据赋予业务的含义，变成一个服务应用到业务当中。最早我们把它叫数据1.0，那个时候少量数据被存储放到Excel等数据文件里面，然后慢慢得有了很多跨域的数据被存储，逐渐形成了跨部门的企业级的数据分析的需求，就有了数据仓库。再往后走，企业不仅仅要分析结构化的数据，还要分析非结构化的数据，这种情况下，企业级的大数据平台就出现了。这种从1.0~3.0都是业务数据化的过程。业务数据化了以后，数据用来干嘛？最主要的是通过数据去辅助决策，让人去做决策。原先支撑数据仓库大部分都是统计分析类的报表，要么是产生出报表给领导看，要么就是有一个数据分析小组团队，把各种数据汇集在一起做一张报表，再领导汇报。第二：它的实时性没有那么强。它都是需要加工，需要ETL然后分析，处理完了以后，哪怕是实时的报表，也是让用户看完了以后，用户再去思考，从而产生业务行为的。第一：业务数据化形成最后数据服务，未来去直接驱动业务的行为。它会嵌入到 oRTO里面去，原来我们把系统分为oRTP系统、Orap系统，oRTP交易系统采集数据，Orap是把采集来的数据不同的系统汇聚在一起，然后做 ETL 和跨域的分析，产生出报表、历史的数据分析等，辅助决策。现在数据中台代表的趋势是：数据分析出来的结果实时地为交易系统做决策，把Orap分析的结果嵌入到oRTP里去，这是巨大的一个变化。在未来数据和计算会分离，我们把这样的一个现象，用极限化的方式去思考，再往后走，可能应用是随用随构建，用完了就消亡，应用就只负责计算。而所有的数据存储到数据中台。应用要做计算，就快速的在Docker里构建出一个镜像，构建出一个应用，然后快速的从企业的数据中台里面把数据获取出来计算。用户消费完了，应用就释放了，资源也随之释放。所以对数据的使用的方式和数据给业务产生价值的方式，数据的对象都发生了变化。从原来由人去看数据，变成更多的是由系统、由业务应用去使用数据。从原来可视化的数据服务的方式，变成这种API的、微服务的直接数据驱动的方式。这就是我总结下来的从前面各个行业的数据中台的架构中看到的趋势。
在这样的一个趋势下面，数据中台到底承载了数字企业数字化转型赋予的什么使命和愿景？很简单，两句话可以总结。数据中台承载的是那些传统企业数字化转型或者所有企业转型的一个愿景：打造数据驱动的智能企业。数据中台承载的使命是通过业务数据化和服务化这样的方式，把数据的能力赋予给业务人员，让业务更智慧，赋予给业务系统，让企业的业务更加智慧。
在这样的愿景和使命下，数据中台是什么？它应该构建什么样的能力呢？数据中台我总结它为数据服务工厂，它是生产加工数据服务的，它为企业提供可复用的数据智能服务。这里的“可复用”指的是，拥有这样的能力，并不取决于现在有没有在复用。因为早构建和晚构建，会影响到整体构建的成本和重复建设的周期。为了方便理解，我们对物理世界里工厂的概念，把数据中台的概念抽象和分解一下。任何一个加工制造业的工厂，都会有原材料，对应的就是源数据，有外部的，也有内部的。然后原材料采购进来要过秤和分析，看看质量是不是合格的，再进入到原材料仓库啊，对应的是数据服务工厂里的数据湖。原材料仓库上面是生产的厂房，对应的是我们的Data Pipeline。厂房里面有半成品、产品仓库，对应我们的 Date Market，所有的数据产品和服务都会在一个平台上面进行交易、进行运营。当然一个工厂，你要不断的产生新的产品，就要有智能创新的实验室，不断的去验证，不断的去探索新的数据产品和新的数据服务。为了让工厂减少浪费，运转的更加的高效。工厂还要有治理，要有办公室，这就是我们数据治理和服务治理。这就是一个能够源源不断的有创新能力，产生数据服务、数据产品，并且在市场上去销售，可以度量价值的一个数据服务工厂。在此基础之上，我们把数据中台抽象成6大能力，在六大能力基础之上支撑的就是数据中台的使命和愿景：构建数据驱动的智能企业。现在很多企业在做数字化转型，有的企业还不具备基本的信息化系统，是不是就意味着不需要考虑数据了？或者等数据先有了，把后台建好，再来做中台？不是这样的。因为数据是无时无刻不在产生的。即使你这个企业没有系统，没有数据仓库，没有数据平台，ERP也没有，全是人工，都不重要。重要的是：只要业务在生产，或者只要你的业务模式已形成，企业运转起来，你的数据就会时时产生。而且用什么数据也很清晰，区别只是到时候是用人工去处理这些数据，还是用系统去处理这些数据？所以我们认为数据是不依赖于你的系统是否构建的，它是客观存在的，只是你没有通过技术的手段把它存储，采集下来而已。在这样的情况下，数据要早于应用规划。构建数据中台，首先要有清晰的数据战略、数据资产的规划。企业需要清晰的知道自己要的是什么数据？现在需要什么数据？未来需要什么数据？可能会产生什么数据？数据未来在哪个系统里面去产生？他们之间的关系是什么？这个很重要。这就是你要构建的数据资产目录，这个目录是一个逻辑结构，当你清晰的知道了这些结构以后，再去建设你的系统，这样的话，脑子就会非常清晰，只有这样才能从根本上去解决数据质量的问题、数据不一致的问题。所以我们数据全景图、数据资产目录、数据的战略，这才是企业现在数字化转型的非常重要的第一步。数据的全景图，实际上映射的是你的业务全景图。在这个基础之上，构建你的应用，同时采集数据资产。先采集什么数据后采集什么数据？数据之间的关系，采集数据用的工具，这些都是数据平台需要去解决的问题。数据资产获取和采集以后，就要去让数据产生新的价值，把数据用起来。这种情况下，一个非常重要的点是：数据一定要被企业所有的员工，乃至于企业价值链上的所有的人共享、开放和协作。要让企业的每一个员工都清晰的知道有什么数据，数据的业务含义是什么？数据存放在哪里？只有这样，才不会出现数据的重复建设。如何把业务人员的想法变成数据的产品、协作？如何提高数据创新的速度？如何提高数据实验的速度？每个企业都需要一个数据资产的协作平台，在这个平台上，业务需求提出人员，数据采集人员、数据开发人员，算法工程师，数据分析工程师，大家能够在一个平台自动化的协作，而不需要线下的这种协作。在同样的版本的数据基础上，用共同的沟通语言去交流协作，这样才能加快企业数据资产开发的速度。业务人员提想法，然后在数据资产的这种探索平台里面去做实验，快速的在公有的数据中台的数据集、数据湖的基础之上，构建不同的数据沙箱。用不同的数据版本，去探索和挖掘业务价值。当你发现一个数据集对业务很有价值，并且通过了验证以后，就要把它成开发成数据服务，让数据服务能够被更多的人使用。有数据开发者，有数据消费者，这样的话就面临一个问题，哪些数据有价值？哪些数据服务有价值？因为计算资源、存储资源都是有限的，不可能无限制的去开发和存储，。所以要识别出有价值的服务，让它被更多的人所使用。让那些没有价值的数据服务，沉淀在底层，然后被销毁和释放。这就是一个运营体系，让数据能够持续的运营产生价值。只有这6点都具备了，企业才是一个有数据驱动能力的这样的一个智能企业。刚才讲的都是广义的数据中台，下面来看狭义上的数据中台。如果你想快速的去开发一个为业务去提供价值的数据中台。哪怕没有数据平台，没有数据仓库，但只要搞清楚业务需要什么数据，然后提供一个数据服务给到它，满足它的数据的需求，让业务能够快速跑起来，这就是数据中台！只要能够提供为前台的业务提供快速的数据服务，就是狭义的数据中台。银行会有不同的业务部门，每个业务应用里面都会用到数据。原来就是从数据平台构建Pipeline，然后一个一个的数据集以 Circle或者MongoDB这样的方式提供给应用开发人员去用，然后应用开发人员会在应用当中直接去调用这些数据表。在这种情况下，很多企业提供给业务人员、开发团队的是宽表，并不安全。也无法追踪到谁访问了，访问的次数。开发速度也慢。业务人员对数据的理解、认知、版本的认知可能也没那么清楚，而且还带来这种数据的不一致。通过数据中台，让数据采集的团队负责采集，数据团队负责提供API给到业务应用，这里的API就根据前端的业务场景来开发。这样的话，把数据开发和服务开发分开，更安全、更专业、也更复用。API的访问也能清晰知道谁访问，访问次数、包括控制安全也更加精细化。最后通过前段时间得到的问卷调查数据，我总结了2020年数据中台的七个趋势，与大家一起交流。我们会发现数据中台现在处于不断上升的阶段，根据干扰的技术成熟度曲线，它一定会出现被质疑的阶段，然后慢慢得趋向于平稳。所以我认为数据中台在2020年会从概念热点走向落地的建设，走向实践。不用刻意纠结中台这两个字对不对，名字其实并不重要，重要的是它所承载的愿景，它所承载的本质。数据驱动的数字化转型，这个趋势是不会改变的，重要的是我们如何利用这个概念作为抓手去驱动企业的转型。
A：我个人的理解数据中台是一个概念，是一个理念，它不是一门技术，它是很多技术的组合。而且它不仅仅是技术，它是既有技术，还有方法、工具和组织，它是个体系。A：数据虚拟化这个词很好，它实际上是把数据业务化。把原来的数据集业务化，然后提供给前台去使用。结合前面所说的六大数据能力模型，业务数据的集成环境，实际上包含了数据服务的开发和协作，所以也可以说数据中台是虚拟化的业务数据的集成环境。