查看原文
其他

行业观察: 云+大数据+AI推动企业数据业务演进

2018-03-02 Coda6 大数据开放实验室

著名的计算机科学家、图灵奖得主Jim Gary在2007年将数据技术作为除了理论、实验和模拟以外的科学研究的第四范式,从而奠定了大数据技术在学术界和工业界的核心的定位。

大数据和云计算技术已经进入了快速发展的第二个十年,随着人工智能技术的兴起和爆发,越来越多的企业开始通过结合这三个新兴技术,打造下一代的智能大数据云平台作为战略计划,并且基于其上完成企业的应用、数据和资产的整合,从而完成企业基础架构的升级和改造。

云计算与大数据和AI融合

根据著名分析公司Bain & Company的预计,到2020年全球云计算市场的规模将达到约4000亿美元的市场规模,其中PaaS和IaaS的年复合增长率会达到27%。目前财富50强的绝大部分企业都已经公布了企业的上云规划,而大量的初创企业更是从一开始就将基础IT架构构建在云上,并且基于云的架构来设计企业应用,也就是云原生应用(Cloud Native Applications)。

随着云计算的发展与成熟,云计算市场的技术趋势在发生明显的变化,包括新一代的大数据智能云、行业云、IoT云等新形态的云技术在过去一两年取得非常迅速的发展。同时,国内外如微软Azure、AWS、腾讯云、阿里云在内的公有云服务商都在对智能场景做深入探索,而以百度BDL、京东云、金山云为代表的公有云追赶者都正在将大数据和AI作为下一波商业革命,试图以云为载体,通过AI来改进企业用云处理大数据的方式。

大型企业的数据业务演进路线

在云计算、大数据、人工智能技术的发展助力下,以Google、Facebook、Amazon为代表的企业已经完成了从IT巨头到DT巨头的转变,通过在数据和技术领域构建的优势完成企业生态的建设,并且利用大数据和技术快速改造了零售业、广告业和媒体行业等传统行业的形态和模式。这些公司通过快速的业务数据化和数据资产化,将企业经营数据化,并通过数据驱动业务场景,加速商业价值的转化。它们基本上是按照如下路线实现一步步演进,并在数年内完成转换过程的。

数据统一化

在此阶段,企业用云计算技术和大数据应用构建一个灵活的技术平台来支撑足够大的数据量级、超大的数据维度、多样化的数据类型,同时处理实时类低延时任务、高并发的查询业务以及计算密集型的批处理和分析业务,以应对各种数据业务场景的需求。在此技术平台基础上,企业可以开始进行相关的数据统一化工作,包括构建统一的计算输出平台,统一管理的元数据和数据标准,逐步将数据整合在平台中。

数据资产化

完成强大的计算能力平台构建和数据整合后,数据还只是以比较原始的方式保存,企业还需要通过数据分析等方式完成数据整合和最终资产化。在这个过程中,ETL仍然是最常用的一种数据整合方式,同时大量的基于事件处理的低延时计算也逐渐变得主流。数据整合完成后,需要通过有效的数据质量管理保证数据的质量和有效性,从而确保数据能够真正的参与业务生产。随着平台中积累的高质量数据越来越多,企业便可以开始根据数据的特点完成资产化工作,其中包括数据与业务字典的对接、数据管理流程等,将原始的数据变为有价值的资产。

数据业务化

数据是生产资料,计算能力是生产工具,在完成了数据统一化和资产化后,企业便拥有强大的计算能力和丰富的数据资产,于是可以很方便的构建数据业务。目前比较典型的产生巨大价值的数据业务主要分布在数据化运营、智能应用和在线数据服务等领域,通过将大数据和人工智能技术的有效结合,从海量企业数据中发掘价值。在智能云时代,以微服务为代表的新一代业务架构已经有效的取代了传统的单体应用架构,让企业可以更灵活的开发和输出数据业务;而数据分析模型化也渐渐成为一种趋势,通过将构建好的机器学习和人工智能模型为服务的方式在企业内部共享,最大化的发挥应用业务和的经济价值。

数据生态化 

企业拥有了统一的数据、计算和业务平台使更多的开发人员可以在该平台上做自助的业务开发,同时大量的业务又会产生新的数据和资产,吸引更多开发人员构建业务,从而形成数据业务的一个闭环,数据、业务和开发人员形成正向反馈,构建起完整的数据生态。企业通过此方式完成新一代的数据化业务改造和升级,可以更好的运营公司业务,促进企业间服务和应用的共享。企业技术部门也因而从传统的支持部门转变为赋能和创新引导部门,通过良好的数据生态和标准化的数据资产服务完成给业务部门的业务赋能和生态建设工作。

同时需要指出,企业在业务演进的过程中不一定严格按照以上的四个阶段发展,各个阶段可能存在一定的重合和反复迭代,尤其是在早期大数据的探索过程中,企业往往是先通过垂直的数据业务作为起点来摸索大数据建设思路。但是随着大数据、云和人工智能技术的快速发展,基于这四个阶段的技术演进无论在技术上还是业务上都将会更加成熟,能够更好的匹配企业的数据化战略。

结语与展望

云计算的应用与发展推动了大数据与人工智能的演进,三者的融合促进了数据化商业的到来。可以预见数据生态今后将成为重要的市场。未来数据将在商业战略和运营中扮演重要角色,依照数据业务演进路线建立完善的企业数据生态,将有助于提高企业数据管理水平,加深数据在商业发展战略上的价值意义,帮助企业实现智能化转型,从而在数据化时代占据领先地位。

最后,小编祝各位元宵节快乐!


往期原创文章

Guardian实现集群互信与安全审计

数据挖掘平台Discover解锁Tensorflow

玩转大数据开发套件--下篇

玩转大数据开发工具--上篇

2017年大数据热点总结与发展趋势预测

Slipstream 5.1 -- 实时计算引擎多方面升级

Inceptor5.1- 批处理分析数据库的进阶

Transwarp Data Hub 5.1–大数据平台的新升级

社区版Inceptor常见问题整理

社区版TDH常见运维问题总结

如何在TDH社区版中进行服务升级

社区版TDH官方正式发布



大数据开放实验室由星环信息科技(上海)有限公司运营,专门致力于大数据技术的研究和传播。若转载请在文章开头明显注明“文章来源于微信订阅号——大数据开放实验室”,并保留作者和账号介绍。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存