查看原文
其他

脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览,Pulsar Meetup(北京站)报名中,多篇中英文技术博客

Growth StreamNative 2019-07-31


阅读本文需要约 5 分钟。


本月亮点速览

产品动态

  • Pulsar 2.5.0 版本预览


社区动态

  • Apache Pulsar Meetup (北京,报名中)

  • CSDI Summit

  • 中英文技术博客


产品动态




整个 7 月,2.5.0 版本的开发在紧张有序地进行,以下是本月添加的主要功能预览。


在分层存储中支持 HDFS


Pulsar 以分片为中心的架构使其可以高效存储无限的数据。为了避免数据在 bookie 中堆积导致成本过高,Pulsar 支持将分片转移到更为廉价的存储中:例如之前的 AWS S3、Google Cloud Storage,以及最新加入的 HDFS。

通过在配置文件中指定 HDFS 相关的 defaultFS、路径、压缩方式等相关参数,你可以自动或者手动将 topic 中的数据以分片粒度卸载到 HDFS 中。

更多信息,参阅 PR-4403 (https://github.com/apache/pulsar/pull/4403)。


在 Pulsar IO 的 JDBC Sink 中支持 Update 和 Delete 事件


Pulsar IO 是将外部系统的数据输入到 Pulsar(Source)、或是将 Pulsar 数据写出到外部系统(Sink)的连接器。在 JDBC Sink 中支持了 Update 和 Delete 事件后,Pulsar topic 中的 Update 和 Delete 被翻译成相应的 DML,反应到 Pulsar Sink 的目标数据库中。


更多信息,参阅 PR-4358 (https://github.com/apache/pulsar/pull/4358)。


PIP-31:事务支持


Pulsar 保证消息分发的最高机制是 exactly-once,通过 Idempotent Producer 保证了一个分区内的消息只会被持久化一次,而不会丢失,但对多分区的生产者生产的消息没有原子性保证。在 Pulsar Functions 中只保证了一个事件的 exactly-once,但并不保证在处理多个事件或生产多个结果时事件的准确。事务消息语义简化了 Pulsar 或 Pulsar Functions 的使用,同时扩大了 Pulsar 的领域。目前已经有一些 commits 合并到主分支,将会在 2.5.0 版本支持事务。


更多信息,参阅 PIP-31 (https://github.com/apache/pulsar/wiki/PIP-31%3A-Transaction-Support)。


Schema 相关 BUG 修复


Pulsar 提供了对 Schema 的内置支持,允许用户直接读取、写入有类型的消息,Pulsar 负责消息的兼容性验证以及序列化、反序列化工作。7 月修复的问题有:已删除的 Schema 对兼容性检查的影响、已删除的 Schema 对新建 Schema 的影响和无法在分区级别获取 topic schema。

更多信息,参阅 PR-4469 (https://github.com/apache/pulsar/pull/4469),PR-4751  (https://github.com/apache/pulsar/pull/4751) 和 PR-4731 (https://github.com/apache/pulsar/pull/4731)。


支持创建单分区的分区主题


Pulsar 支持两种类型的主题:非分区主题和分区主题。之前创建分区主题的最小分区数是 2,现在你可以先创建一个单分区的分区主题,随后根据需要调整主题的分区数。

更多信息,参阅 PR-4764

(https://github.com/apache/pulsar/pull/4764)。


文档改进


Pulsar 官网文档是理解 Pulsar 基本概念,了解 Pulsar 配置方式的最好去处。7 月,官网文档集中在 Pulsar Functions、Pulsar Schema 和 Pulsar 升级方案三个方面进行了改进。

更多信息,参阅 

Pulsar Functions 

  • Improve Functions structure:Issue-4554

    (https://github.com/apache/pulsar/pull/4554)

  • Functions overview: PR-4598

    (https://github.com/apache/pulsar/pull/4598)

  • Functions develop: PR-4725

    (https://github.com/apache/pulsar/pull/4725)

  • Functions debug: PR-4729

    (https://github.com/apache/pulsar/pull/4729)

  • Functions deploy: PR-4820

    (https://github.com/apache/pulsar/pull/4820)

  • Functions API examples: PR-4827

    (https://github.com/apache/pulsar/pull/4827)

  • Functions thread/process modes: PR-4828

    (https://github.com/apache/pulsar/pull/4828)  


Schema

  • Structure of Schema Doc: Issue-4789

    (https://github.com/apache/pulsar/issues/4789)

  • Get Started: PR-4759

    (https://github.com/apache/pulsar/pull/4759)

  • Understand Schema: PR-4786

    (https://github.com/apache/pulsar/pull/4786)

  • Schema Evolution and Compatibility: PR-4841

    (https://github.com/apache/pulsar/pull/4841)

  • Manage Schema: PR-4845

    (https://github.com/apache/pulsar/pull/4845)


Upgrade

  • PR-4770

    (https://github.com/apache/pulsar/pull/4770)

  • PR-4792

    (https://github.com/apache/pulsar/pull/4792)


社区动态




Apache Pulsar Meetup | 北京站

(报名中)


2019 年 7 月,StreamNative 联合 Apache Pulsar、Apache Flink 两大社区,联合 Yahoo!Japan、腾讯、智联招聘和 EMQ 在北京积极筹备一场大型 Pulsar 专场活动。

活动详情,查看 [Apache Pulsar Meetup 邀请函](https://mp.weixin.qq.com/s/8-iluljzocLrbwLEVr9R2w)。


CSDI Summit


2019 年 7 月 19 ~ 21 日,为期三天的 CSDI 峰会(中国软件研发管理行业技术峰会)在深圳如期举办,StreamNative 联合创始人郭斯杰受邀在“云原生/Web 架构”会场做了”云原生消息系统 Apache Pulsar 简介”的主题演讲。


更多信息,参阅 [CSDI Summit](http://www.csdisummit.com/jsdg.asp?classID=10&id=328)。


技术干货




本月发布了以下中英文技术博客:  

  • 如何使用 Pulsar Dashboard 监控(https://mp.weixin.qq.com/s/4RXA1SLs_wvFHY2y-B-yJg)

  • 在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

    (https://mp.weixin.qq.com/s/bdWfeWGyOFqrYCPoU2U5QA)

  • Queuing vs Streaming

    (https://mp.weixin.qq.com/s/udQq124-Lyekmpd0-zuKlg)

  • Pulsar Connector 预览篇

    (https://mp.weixin.qq.com/s/73S1Jd-zzqgsI-LCqY-n4g)

  • Pulsar Source 入门篇

    (https://mp.weixin.qq.com/s/bnpY5voH6mY4P7yOZalZjw)

  • Build a Priority-based Push Notification System Using Apache Pulsar at GeTui

    (https://medium.com/streamnative/build-a-priority-based-push-notification-system-using-apache-pulsar-at-getui-40252f4beae9)

  • Apache Pulsar as One Storage System for Both Real-time and Historical Data Analysis

    (https://medium.com/streamnative/apache-pulsar-as-one-storage-455222c59017)

  • What’s New in Apache Pulsar 2.4.0

    (https://medium.com/streamnative/whats-new-in-apache-pulsar-2-4-0-d646f6727642)



更多关于 Pulsar 的技术干货和产品动态,请关注 StreamNative 微信公众号。


点击“阅读原文”,报名参加 Pulsar Meetup(北京站)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存