查看原文
其他

企业打造自己的数据中台,需要的是一套硅谷方法论(文末有福利!)

CSDN 周翔 CSDN 2020-10-29

受访者介绍:


宋文欣,武汉智领云科技联合创始人&CTO,美国纽约州立石溪大学计算机博士,武汉大学计算机系本科及硕士,具有20多年软件开发,大数据及云计算经验,曾任EA(艺电)大数据平台高级工程经理,Ask.com Analytics技术带头人。
2015年12月,阿里宣布启动中台战略,打造“大中台、小前台”的组织机制和业务机制。从烟囱式架构到分布式架构,再到共享式架构,阿里取得了巨大成功,也带动了「中台」建设的热潮。
如今,企业数字化转型已经成为一种趋势,特别是产业互联网时代的到来,越来越多的企业将「数字」视为核心资产,并开始探索「数据中台」的建设。
然而,「数据中台」不同于一般的「大数据平台」,想要真正建设好「数据中台」,并发挥出数据的真正价值,是一项持久的工程,需要合适的方法论指导。
如何理解「数据中台」的核心价值,并让「数据中台」真正为业务提供支撑?武汉智领云科技联合创始人&CTO宋文欣基于自身经验,通过多个案例向CSDN剖析了「数据中台」建设的方法论。


「数据中台」的核心:抽象、复用和共享

 
首先,我们要理解什么是「数据中台」。
从业务的角度出发,「数据中台」需要为业务服务,能够实现新功能的快速实现、验证和迭代。从公司的管理角度出发,「数据中台」要打通各个业务线的数据,避免重复造轮子,实现高效的数字化运营,并且能够为重要决策提供支撑。
即作为前台的一线业务会更敏捷、更快速适应瞬息万变的市场,而中台将集合整个集团的运营数据能力、产品技术能力,对各前台业务形成强力支撑。
在宋文欣看来,数据中台是公司数字化运营的数据能力平台,为全公司各个部门提供数据运营工具,同时在公司层面管理数据能力的抽象、复用和共享。
不过,真正实现数据能力的抽象、复用和共享却并非易事,需要一整套完整的工具、成熟的流程和正确的方法论。


「数据中台」的建设:从工具到方法论


数据中台的兴起大多源自于企业的内生需求。然而作为一项新生事物,大部分企业并没有相关经验。那么如何借助外力来搭建自己的数据中台,并且真正发挥效用,为业务和决策提供支撑?宋文欣分享了自己的「方法论」。
首先,智领云可以提供一套加速数据中台搭建的平台工具——BDOS。
BDOS 是一个基于云原生架构的数据运营管理平台。底层是基于云计算技术(Mesos, Kubernetes,Docker)搭建的应用云平台;中间一层是容器化的大数据基础能力组件,例如Hadoop、Spark、Kafka、TensorFlow、Hive等,这也是传统的大数据平台提供的主要功能;上层是智领云自己研发的数据运营管理层,包括数据集成开发平台和数据应用运营平台,负责在底层的基础能力组件之上提供数据应用开发全周期的管理。所有大数据应用和接入的开源组件都是以容器化发布和管理,这也意味着,云原生是BDOS的一个核心特性。
BDOS这种面向变化的架构设计也决定了它开放易用的特性,可以方便客户轻松接入并发布自己的应用,同时很多开源或者第三方提供的应用也可以以容器的方式接入进来。另外,BDOS对容器技术的支持保证了向前的兼容性,支持云原生架构的技术组件,未来都可以在BDOS上得到进一步的扩展。同时,BDOS的大数据运营管理层能够帮助企业在同一个平台上管理好用户、资源、数据和应用,高效快速地实现数据能力的抽象、复用和共享。
然而,如果没有组织架构去配合和调整,仅仅依靠BDOS这样的工具,并不能帮助企业真正搭建一个切实发挥作用的数据中台。建设「数据中台」一定是一把手工程。要想真正打破壁垒,需要最高层的领导有数字化运营的理念,相应的组织架构也可能需要进行相应的调整,特别是在中台架构下责权利的明确。
宋文欣在硅谷的工作经历说明,一家公司从没有数字化到数字化运营的转变,其实是组织架构、思维方式以及工作方式的整体转变。2012年美国消费者杂志把EA评选为美国最差劲的公司,游戏停留时间在减少,玩家在流失。自那以后,EA提出了“Player First”的理念,并开始构建数字化驱动架构和大数据平台,希望扭转这个局面。也正是那一年,宋文欣加入了EA的大数据部门,那个时候各个游戏研发团队都有一套自己的数据分析系统,整个EA还没有一个大数据集群,数字化运营程度非常低。为此,EA首先调整了组织结构,打破了各部门运营自己数据的孤岛模式,将数据标准和数据规范的制定工作交给了大数据部门。同时逐步实施大数据平台架构,基本是每个季度都会交付一些数据产品给各个部门使用,刚开始是一些简单的数据汇总和下载工具,然后开放了自助式大数据查询系统,直到最后的自动化数据流水线。随着产品不断的丰富,各个业务部门和游戏研发团队也逐步看到了数字化驱动的好处,也更愿意使用新的架构来开展业务工作。到2014年,EA建立了覆盖所有游戏平台和所有游戏的大数据平台,可以轻松构建一个360度的玩家画像,实时掌握每个玩家的动态。同样是2014年,EA摆脱了美国最差公司的称号,在2015财年, EA的营收达到了43亿美元,是1982年公司创立以来的最高点。
由此,宋文欣认为,一家企业要建设数据中台,技术手段是一个重要保障,但是只有从上至下灌输数字化运营的理念,并且公司全员都进入到数字化运营过程当中,才能够把事情做好。所以,在数字化转型的过程中,智领云会根据从硅谷工作经验中总结出来的方法论,给出适当的建议。
宋文欣建议,企业对于数据中台的建设,先不要急于求成,一开始就做一个大而全的系统,而是要先做出一些成绩,让企业看到数据中台的好处。
首先,智领云技术团队会和企业配合,先对需求方的一两个功能要点进行分析,找出其中需要复用的相关数据,然后做出可以共享的数据能力,最后做出一整套流程,形成可视化的结果,去指导业务的工作,并观察是否又会带来变化。如果产生了积极效果,再继续推进。
例如,企业前期只提供了不同渠道的点击率数据,那么智领云会将这些数据和最后的订单转化数据结合起来,这样就可以清楚知道哪些渠道带来的订单更多,并对渠道投放进行及时调整,达到优化渠道投放的效果。前期的场景做出一定成绩之后,会把开发出来的数据能力交还给客户的业务部门,让他们去进一步迭代。
其次,企业的业务部门会在最初的一两个需求的解决过程中进行学习,熟悉大数据运营管理工具,然后运用这些工具去抽象并开放其他的数据能力,来解决更多的业务问题。
宋文欣将这种方法总结为,「扶上马,带一程」。通过培训和辅导,双方合作一起解决问题,在使用BDOS这个自助式的工具的同时,根据智领云的方法论进行系统化的数据能力提升,最终实现全面数字化运营,产生价值,这正是智领云的价值体现。 


「数据中台」的前景:创造更大的价值

 

IDC的数字显示,全球每年产生数据量:2018年是32.5ZB,2022年是80.1ZB;互联网用户数:2018年为38.8亿人,2022年为45亿人;连接的IoT设备数:2018年为 228亿,2022年为407亿。 
不管这个数据是来自第三方,还是内部信息系统,越来越多的企业手握大量数据。虽然很多公司的数字化程度还停留在Excel层面,但是在如今的经济形势下,一众企业都面临着从粗放式经营到数字化运营的转型,需要把数字能力转化为业务能力,创造更多的价值。
以高瓴对百丽的数字化改造为例。据虎嗅报道,高瓴的改造相当成功。通过大数据洞察优化货品安排、借助精益管理提升供应链能力等,高瓴优化了整个供应链的链路。2018年,百丽集团鞋、体、服三大业务线上销售突破9.68亿元,同比增长71%,同期线下销售增长超过18%,创下单日销售额新纪录。
阿里云技术掌舵人蒋江伟曾经预言,优秀的架构已经超出效率本身的范畴,而是决定企业成败的关键因素。
而在宋文欣看来,不管是互联网企业,还是传统企业,都会走上数据精细化运营的道路,只不过是早晚的问题,而这也意味着数据中台有着广阔的市场。而对于智领云来说,其核心理念就是通过不断迭代的技术和方法论,帮助客户打造适合自己的数据中台架构,最终帮助客户创造更大的价值。
(参考链接:https://www.huxiu.com/article/323683.html)
最后福利来了!明天(4月18日)下午14:30,宋文欣博士将首度直播开讲,为您讲述硅谷的“数据中台”建设,赶紧扫描入群参与直播吧!
欲了解智领云更详细的信息,请点击【阅读原文】

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存