脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览,Pulsar Meetup(北京站)报名中,多篇中英文技术博客
阅读本文需要约 5 分钟。
本月亮点速览
产品动态
Pulsar 2.5.0 版本预览
社区动态
Apache Pulsar Meetup (北京,报名中)
CSDI Summit
中英文技术博客
产品动态
整个 7 月,2.5.0 版本的开发在紧张有序地进行,以下是本月添加的主要功能预览。
在分层存储中支持 HDFS
Pulsar 以分片为中心的架构使其可以高效存储无限的数据。为了避免数据在 bookie 中堆积导致成本过高,Pulsar 支持将分片转移到更为廉价的存储中:例如之前的 AWS S3、Google Cloud Storage,以及最新加入的 HDFS。
通过在配置文件中指定 HDFS 相关的 defaultFS、路径、压缩方式等相关参数,你可以自动或者手动将 topic 中的数据以分片粒度卸载到 HDFS 中。
更多信息,参阅 PR-4403 (https://github.com/apache/pulsar/pull/4403)。
在 Pulsar IO 的 JDBC Sink 中支持 Update 和 Delete 事件
Pulsar IO 是将外部系统的数据输入到 Pulsar(Source)、或是将 Pulsar 数据写出到外部系统(Sink)的连接器。在 JDBC Sink 中支持了 Update 和 Delete 事件后,Pulsar topic 中的 Update 和 Delete 被翻译成相应的 DML,反应到 Pulsar Sink 的目标数据库中。
更多信息,参阅 PR-4358 (https://github.com/apache/pulsar/pull/4358)。
PIP-31:事务支持
Pulsar 保证消息分发的最高机制是 exactly-once,通过 Idempotent Producer 保证了一个分区内的消息只会被持久化一次,而不会丢失,但对多分区的生产者生产的消息没有原子性保证。在 Pulsar Functions 中只保证了一个事件的 exactly-once,但并不保证在处理多个事件或生产多个结果时事件的准确。事务消息语义简化了 Pulsar 或 Pulsar Functions 的使用,同时扩大了 Pulsar 的领域。目前已经有一些 commits 合并到主分支,将会在 2.5.0 版本支持事务。
更多信息,参阅 PIP-31 (https://github.com/apache/pulsar/wiki/PIP-31%3A-Transaction-Support)。
Schema 相关 BUG 修复
Pulsar 提供了对 Schema 的内置支持,允许用户直接读取、写入有类型的消息,Pulsar 负责消息的兼容性验证以及序列化、反序列化工作。7 月修复的问题有:已删除的 Schema 对兼容性检查的影响、已删除的 Schema 对新建 Schema 的影响和无法在分区级别获取 topic schema。
更多信息,参阅 PR-4469 (https://github.com/apache/pulsar/pull/4469),PR-4751 (https://github.com/apache/pulsar/pull/4751) 和 PR-4731 (https://github.com/apache/pulsar/pull/4731)。
支持创建单分区的分区主题
Pulsar 支持两种类型的主题:非分区主题和分区主题。之前创建分区主题的最小分区数是 2,现在你可以先创建一个单分区的分区主题,随后根据需要调整主题的分区数。
更多信息,参阅 PR-4764
(https://github.com/apache/pulsar/pull/4764)。
文档改进
Pulsar 官网文档是理解 Pulsar 基本概念,了解 Pulsar 配置方式的最好去处。7 月,官网文档集中在 Pulsar Functions、Pulsar Schema 和 Pulsar 升级方案三个方面进行了改进。
更多信息,参阅
Pulsar Functions
Improve Functions structure:Issue-4554
(https://github.com/apache/pulsar/pull/4554)
Functions overview: PR-4598
(https://github.com/apache/pulsar/pull/4598)
Functions develop: PR-4725
(https://github.com/apache/pulsar/pull/4725)
Functions debug: PR-4729
(https://github.com/apache/pulsar/pull/4729)
Functions deploy: PR-4820
(https://github.com/apache/pulsar/pull/4820)
Functions API examples: PR-4827
(https://github.com/apache/pulsar/pull/4827)
Functions thread/process modes: PR-4828
(https://github.com/apache/pulsar/pull/4828)
Schema
Structure of Schema Doc: Issue-4789
(https://github.com/apache/pulsar/issues/4789)
Get Started: PR-4759
(https://github.com/apache/pulsar/pull/4759)
Understand Schema: PR-4786
(https://github.com/apache/pulsar/pull/4786)
Schema Evolution and Compatibility: PR-4841
(https://github.com/apache/pulsar/pull/4841)
Manage Schema: PR-4845
(https://github.com/apache/pulsar/pull/4845)
Upgrade
PR-4770
(https://github.com/apache/pulsar/pull/4770)
PR-4792
(https://github.com/apache/pulsar/pull/4792)
社区动态
Apache Pulsar Meetup | 北京站
(报名中)
2019 年 7 月,StreamNative 联合 Apache Pulsar、Apache Flink 两大社区,联合 Yahoo!Japan、腾讯、智联招聘和 EMQ 在北京积极筹备一场大型 Pulsar 专场活动。
活动详情,查看 [Apache Pulsar Meetup 邀请函](https://mp.weixin.qq.com/s/8-iluljzocLrbwLEVr9R2w)。
CSDI Summit
2019 年 7 月 19 ~ 21 日,为期三天的 CSDI 峰会(中国软件研发管理行业技术峰会)在深圳如期举办,StreamNative 联合创始人郭斯杰受邀在“云原生/Web 架构”会场做了”云原生消息系统 Apache Pulsar 简介”的主题演讲。
更多信息,参阅 [CSDI Summit](http://www.csdisummit.com/jsdg.asp?classID=10&id=328)。
技术干货
本月发布了以下中英文技术博客:
如何使用 Pulsar Dashboard 监控(https://mp.weixin.qq.com/s/4RXA1SLs_wvFHY2y-B-yJg)
在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar
(https://mp.weixin.qq.com/s/bdWfeWGyOFqrYCPoU2U5QA)
Queuing vs Streaming
(https://mp.weixin.qq.com/s/udQq124-Lyekmpd0-zuKlg)
Pulsar Connector 预览篇
(https://mp.weixin.qq.com/s/73S1Jd-zzqgsI-LCqY-n4g)
Pulsar Source 入门篇
(https://mp.weixin.qq.com/s/bnpY5voH6mY4P7yOZalZjw)
Build a Priority-based Push Notification System Using Apache Pulsar at GeTui
(https://medium.com/streamnative/build-a-priority-based-push-notification-system-using-apache-pulsar-at-getui-40252f4beae9)
Apache Pulsar as One Storage System for Both Real-time and Historical Data Analysis
(https://medium.com/streamnative/apache-pulsar-as-one-storage-455222c59017)
What’s New in Apache Pulsar 2.4.0
(https://medium.com/streamnative/whats-new-in-apache-pulsar-2-4-0-d646f6727642)
更多关于 Pulsar 的技术干货和产品动态,请关注 StreamNative 微信公众号。
点击“阅读原文”,报名参加 Pulsar Meetup(北京站)