Flink Forward China: 使用Apache Pulsar和Apache Flink进行批流一体的弹性数据处理
2018年12月20日至21日，“下一代大数据处理引擎”Apache Flink的年度论坛Flink Forward China 2018将北京举办。
在此次大会20日的分会场四中，来自Apache Pulsar社区的PMC成员将跟大家一起交流怎样使用Apache Pulsar和Apache Flink进行批流一体的弹性数据处理。
使用Apache Pulsar和Apache Flink进行批流一体的弹性数据处理
越来越多的应用采用流计算来提供低延时的数据处理。流计算具有一个特别有吸引力的特征，就是它在概念上统一了批处理（有边界的静态历史数据）和连续的近实时数据处理（无边界的流、事件数据）。
Flink在计算框架和编程逻辑上实现了批流统一；然而，在实践中，实现一个真正意义上批流统一的数据架构并不容易。因为近实时的流、事件数据通常使用消息队列、日志存储系统进行存储，而批处理需要的静态数据，通常使用文件系统、对象存储进行存储。这就意味着，数据科学家还是需要编写两套不同的计算逻辑来访问存储在不同存储系统中的数据。
Apache Pulsar是Yahoo开源的下一代分布式消息系统，在今年9月从Apache软件基金会毕业成为顶级项目。Pulsar特有的分层分片的架构，在保证大数据消息流系统的性能和吞吐量的同时，也提供了高可用性、高可扩展性和易维护性。分片架构将消息流数据的存储粒度从分区拉低到了分片，以及相应的层级化存储，使Pulsar成为unbounded streaming data storage的不二之选。这使得Pulsar可以更完美地匹配和适配Flink的批流一体的计算模式。
我们将会简单介绍一下什么是Pulsar，Pulsar的分层和分片架构，以及为什么Pulsar的这种架构可以更好地适配Flink的批流一体计算框架，并介绍Pulsar怎么跟Flink进行结合进行批流一体的计算。
下一代大数据处理引擎王者 -- Apache Flink
Apache Flink被公认为最有可能成为下一代大数据计算引擎的翘楚与王者，一经问世，就被定义为“颠覆者”、“黑马”、“未来”。
十五年前，Google的“三驾马车”初登舞台，一时间风头无两，随后出现的Hadoop拉开了开源大数据发展的序幕，如今伴随着数据时效性要求越来越高，以及人工智能的兴起， Apache Flink（以下简称Flink），在大数据领域异军突起。
Flink犹如大数据领域的一股“清流”，一经出现即展现出了惊人的潜力：它既能保证数据一致性“Exactly Once"，又能实时快速的处理海量数据。与生俱来的Watermark功能让它能对复杂数据乱序场景应对自如，它充分体现了“批”、“流”一体的完美结合同时又代表着“流”、“表”二象性的和谐统一。
面对海量数据处理的痛点，它能够帮助企业和开发者轻松在以流为基础的各种计算中获得洞察的价值； 它不仅可以真正实现实时数据分析，还可以分析海量历史数据，并极大地简化数据处理流程。不仅如此，Flink还拥有完备的语义和强大的性能，这使得应用程序的开发变得简单， 其架构也使得应用程序的维护变得异常容易。
Flink Forward China 2018精彩看点
此前，阿里巴巴等中国公司就曾经赞助和参与在柏林和旧金山举办的Flink Forward，而此番Flink Forward来到中国，显然得益于中国公司围绕Flink开展的丰富、领先的生产实践，以及在开源领域日益开放的生态。这次论坛无疑将是中国大数据计算实践的盛会。
看点一：全球Flink技术领袖的前沿技术干货分享
Flink如何重新定义大数据计算？Flink在图计算与机器学习领域的进展如何？如何使用StreamSQL快速开发业务？在12月20日的Flink Forward China上，你将得到答案。
看点二：国内外一线大厂围绕Flink生态的一手实践
Flink在阿里、华为的云计算业务中如何探索与应用？在共享经济Uber、滴滴指标智能分析与管理中如何应用？字节跳动、爱奇艺等智能内容推荐领域将迎来怎样的颠覆与变革？在美团点评新零售领域将带来何种突破？
看点三：Flink从入门到进阶的培训课程
12月20日的会议之外，本次Flink Forward China的另一大亮点是，提供了21日全天的Flink课程培训。从入门开发Flink应用程序、Flink SQL、状态管理及快速部署，到Flink Runtime核心机制剖析、Flink Time深度解析再到Flink机器学习的任务开发和性能调优，帮助Flink使用者结合自身需要获得切实成长。
Flink Forward简介
Flink Forward是由Apache官方授权，Apache Flink China社区支持的国际型会议。旨在汇集大数据领域一流人才共同探讨新一代大数据计算引擎技术，是Flink开发者和使用者不可错过的盛会。
Apache Flink China（http://flink-china.org/）
经过Apache Flink官方授权的中文社区，旨在联合国内的Flink大 V，向国内宣传和普及Flink相关技术，输出技术博文、译作、资讯等内容，推动国内大数据技术发展的开源社区。
点击阅读原文，即刻启程～！