如何针对PB级大数据做毫秒级在线分析？阿里应用实践解析！

导语：企业数据每年以PB级甚至上百PB爆炸式增长，越来越大的数据量正为扩大分析策略在企业应用软件领域的拓展提供了数据基础，但数据的价值是有时效性的，越早分析越能得到更快的问题反馈或响应，而离线分析缺点显然是不能及时地利用数据中所蕴含的深层价值，因此，如何针对海量数据进行毫秒级在线分析，就成为挑战和新兴话题。

文 | 老鱼

占超群，花名(离哲)来自阿里巴巴集团数据库事业部资深技术专家，拥有10年数据处理及分析经验。见证了数据处理及分析发展全过程。

他表示，最初的数据分析基于OLTP数据库来做，到了2005年大数据开始兴起，2009年Hadoop名声大噪。众所周知，Hadoop的设计初衷是存储与分析离线大数据，数据虽然能被处理，但问题也很多，比如太慢，数据不够集中等，而阿里生态足够大，众多商家和广告主一直希望利用数据驱动业务，因此，催生了阿里大规模在线化分析诉求，并且阿里集团绝大部分数据业务都是在线化的。

最近三年，他也和客户一起，充分利用阿里云分析型数据库的极速低成本能力，驱动外部的公安、物流、营销、电力等行业客户实现数据分析在线化;也就有了他在2017中国系统架构师大会上的分享，阿里巴巴大数据分析在线化和开放化的实践。

数据处理技术3大趋势

离哲的分享主要有3部分：技术趋势、应用实践及解决方案。

目前，数据处理呈现出3大重要趋势，其一是从离线到在线的趋势，圈里现在基本都不怎么提离线分析了，而是在讨论在线分析。第二个趋势是从统计到AI的趋势，用AI技术去做数据处理不再是未来的事儿，而是现在已经正在发生着。第三个趋势是在线分析平台化，支持多样化的数据如文本、Json、图片等，实现数据融合、统一、联合计算。

他认为，这些趋势在未来的5年以内，会在中国乃至全球普及，未来数据分析是开放化、在线化的时代。他还指出，对未来企业业务的改造，怎么样让数据部门不再是企业的负担，而是一种增值，也是个很重要的探索方向。

PB级大数据在线分析对数据计算的要求不仅要面对越来越大的数据量能被在线计算，更要求实时，几秒内返回，还可以被界面交互，并且可以让人人都可以当分析师，同时可以去探索，需要足够的开放性。

阿里在线分析应用与实践

目前阿里大数据分析在线化和开放化的实践，主要应用于电商业务、营销业务、O2O、交通、物流、娱乐、金融、征信、安全等几十个场景。涉及营销管理，安全风控，推荐，预测，洞察等多个方面。

在线分析在交通行业应用实践

在线分析在公安行业应用实践

在阿里强势领域电商的应用就不多说，让人眼睛一亮的是在交通、安全行业的应用。

解决方案：业务架构图

最后，是演讲中最精华的部分，阿里大数据分析在线化和开放化是怎么应用的，都在典型业务架构图中。

架构图中，我们发现与众不同的是AnalyticDB，这是阿里自研的大规模高性能分析型数据库，其实AnalyticDB并不是个新产品。会后，离哲在接受笔者采访时表示，AnalyticDB在2014年就上云了，主要目标是做极速低成本的PB级实时数据仓库。

AnalyticDB主打三个功能：一、低成本;二、极速分析，包含延迟，并发上做到极速。三、上层提供了足够好的应用性，让用户能像用单机数据库一样，绝大部分语言和工具，都能连接。用户可以通过任何BI工具，甚至excel都能连接上来做分析，其目的是让阿里的在线分析能力能被用户以足够低的成本连接和被使用。

离哲最后表示，AnalyticDB目标是能让数据价值被发现，通过数据价值的实时性，数据探索的实时性，去驱动商业变革。

END

延伸阅读

公众号

laoyubiji

老鱼，10年企业级老编一枚，采访过上百位CEO/CTO，你若有故事，欢迎联系！

欢迎订阅老鱼笔记

✬如果你喜欢这篇文章，欢迎分享到朋友圈✬

评论功能现已开启，灰常接受一切形式的吐槽和赞美☺