CommunityOverCode Asia 专题介绍之消息系统

引言

CommunityOverCode Asia 2023

最早的消息队列开源产品 ActiveMQ 要追溯到 2003 年，由 Apache 出品。这一时代的 MQ 产品主要围绕 JMS、AMQP 等标准化消息规范和协议来设计，其目标主要是用来减轻经典 RPC 调用的紧耦合，剥离一步处理逻辑，解耦系统复杂度。

如今，消息队列技术因其高可靠性、高扩展性、高灵活性等优点，在系统的构建上起着很重要的作用。它可以帮助企业实现数据流处理，彼此之间的通信和定时任务的调度等，在大型电子商务类等网站上有着深入的应用。

本次 CommunityOverCode Asia 2023（原 ApacheCon Asia）的消息系统专题，将给大家带来 Apache 相关项目的最新资讯，现在就一起来看看吧！

出品人

CommunityOverCode Asia 2023

王殿进

CommunityOverCode Asia 2023

ALC Beijing Member，长期活跃在开源圈，前 StreamNative 社区运营负责人，目前从事新一代开源数据库的社区和市场工作。

专题介绍

CommunityOverCode Asia 2023

消息系统通过消息的方式实现系统之间的相互通信。它用于系统解耦、削峰填谷、数据交换等场景，同时也逐渐成为消息驱动和流系统的基础组件。

在 Apache 基金会中， 已经有的消息系统包括：Apache Pulsar, Apache Kafka , Apache RocketMQ, Apache ActiveMQ, Apache Inlong 等等。

在消息系统这个主题中，这些社区将分享一线的生产经验和最佳实践、交流观点和想法、并讨论消息系统的技术路线和未来的发展趋势。

议程亮点

CommunityOverCode Asia 2023

8 月 18 日 13:30 - 17:45

演讲议题：Apache Pulsar 3.0：首个 LTS 版本及其新特性

分享时间：8 月 18 日 13:30 - 14:00

议题介绍：

Apache Pulsar 社区最近推出了 Apache Pulsar 3.0，这是 Pulsar 的第一个 LTS 版本。在本次演讲中，我们将深入探讨Pulsar LTS 版本的重要性。我们还将介绍 Pulsar 3.0 中引入的主要特性，包括新的负载均衡器、大规模延迟消息的支持以及Direct IO 优化等。

嘉宾介绍：

Zike Yang丨StreamNative Software Engineer

Zike Yang is a Software Engineer at StreamNative, Apache Pulsar Committer, Apache StreamPipes Commiter & PMC Member. His current work primarily focuses on developing Pulsar multi-language clients and improving Pulsar core features.

---

演讲议题：Apache Pulsar 限流功能在移动云云原生场景下的应用实践

分享时间：8 月 18 日 14:00 - 14:45

议题介绍：

移动云为了实现 Pulsar 在云原生容器化场景下的多租户网络资源隔离，针对 Pulsar 的限流功能、ResourceGroup 以及负载均衡等特性做了大量优化。本次演讲将介绍 Pulsar 的限流实现原理，我们如何优化 ResourceGroup 来实现集群级别的限流，以及在集群级别限流场景下如何优化负载均衡策略。

嘉宾介绍：

王嘉凌丨中国移动云能力中心软件开发工程师

中国移动云能力中心软件工程师，Apache Pulsar Contributor，负责移动云消息队列 Pulsar 和 Kafka 的研发。

---

演讲议题：华为终端云在容器场景中对 Apache Pulsar 的优化实践

分享时间：8 月 18 日 14:45 - 15:30

议题介绍：

Apache Pulsar 是一款云原生消息队列，基于其存算分离架构，通常可以在业务低峰期缩容计算层来节省资源。我们在容器化场景下，针对 Apache Pulsar 做了大量优化。如：现在 Pulsar 负载均衡算法依赖于节点过去的负载数据，达到平衡的过程比较缓慢。当开启 HPA，节点在负载均衡的过程中很可能又会触发扩容，而扩容又会引发新的负载均衡。我们要如何优化来让 Pulsar 更加云原生？

嘉宾介绍：

林琳丨华为 SDE 专家

华为终端 SDE 专家，Apache Pulsar PMC 成员，拥有近10年中间件与基础架构设计经验，致力于打造稳定可靠的基础设施

---

演讲议题：Kafka without Zookeeper

分享时间：8 月 18 日 15:45 - 16:30

议题介绍：Currently, Kafka relies on ZooKeeper to store its metadata, ex: brokers info, topics, partitions...etc. KRaft is a new generation of Kafka that runs without Zookeeper.

This talk will include:

1. Why Kafka needs to develop the new KRaft feature;

2. The architectures of the old (with Zookeeper) Kafka and new (without Zookeeper) Kafka;

3. Benefit of adopting KRaft;

4. How it works internally;

5. The monitoring metrics;

6. Tools to help troubleshoot issues in KRaft;

7. A demo to show what we've achieved so far;

8. The roadmap for the Kafka community to move toward KRaft.

After this talk, the audience can have better knowledge of what KRaft is, and how it works, and what's the difference with Zookeeper based Kafka, and most importantly, how to monitor it and troubleshoot it.

嘉宾介绍：

Luke Chen丨RedHat Senior Software Engineer

Luke Chen is a senior software engineer in RedHat working on products to run Apache Kafka on cloud. He is also a committer and PMC member in Apache Kafka.  He has been contributed in Apache Kafka for more than 3 years.

邓子明丨字节跳动数据开发

国防科技大学，多年数据开发经验，Apache Kafka Committer

---

演讲议题：Deep Dive the replication protocol in Kafka

分享时间：8 月 18 日 16:30 - 17:15

议题介绍：

Being a messaging system, the data durability is very important. The replication ensures automatic failover to other replicas when a server in the cluster fails, so messages remain available in the presence of failures. In Apache Kafka, the replication protocol is not only used to achieve durability, but also to achieve high throughput.

In this talk, we'll deep dive how the replication protocol works internally in Kafka. We'll also explain what's the pros and cons of this kind of design. Furthermore, we'll also introduce the other kind of replication protocol in Kafka, which is used for KRaft controllers (i.e. quorum based way).

After this talk, the audience can rethink these replication protocols, and maybe some of the ideas can be brought into some other distributed system projects. Hope it will also help audience know more about Apache Kafka.

嘉宾介绍：

Luke Chen丨RedHat Senior Software Engineer

Luke Chen is a senior software engineer in RedHat working on products to run Apache Kafka on cloud. He is also a committer and PMC member in Apache Kafka.  He has been contributed in Apache Kafka for more than 3 years.

---

8 月 20 日 13:30 - 18:00

演讲议题：事件驱动引擎 RocketMQ EventBridge 的设计与实现

分享时间：8 月 20 日 13:30 - 14:00

议题介绍：

事件驱动架构（EDA）是一个历久弥新的设计理念，对于开发人员而言，使用一款上手轻松、能力丰富的EDA引擎将会使其EDA项目开发工作事半功倍。本讲就为大家介绍一款 EDA 开源引擎 RocketMQ EventBridge，其在协议上拥抱开源，拥有丰富的生态组件支持，而且也有云上大规模实践背书，可以帮助开发人员轻松构建EDA项目。本讲会基于协议标准、能力矩阵、架构设计等方面，详细介绍 RocketMQ EventBridge 的一系列产品特点和其设计实现，剖析产品思路。

嘉宾介绍：

陈永明丨阿里云研发工程师

阿里云研发工程师，致力于消息中间件如 RocketMQ、EventBridge 的探索与开发，主持和维护了阿里云 EventBridge 大量生态集成相关工作。

---

演讲议题：RocketMQ 百万队列能力支持 -- RocksDB kv 存储

分享时间：8 月 20 日 14:00 - 14:45

议题介绍：

现有的 RocketMQ 存储架构存在以下问题：1.百万队列 topic 、subion、 consumerOffset 约需 200 - 300M，定时持久序列化和 CRC32 计算 cpu 压力较大，其次覆盖写磁盘 util 很高；2. consumeQueue 索引基于 mmap 实现，百万队列场景下大量小文件随机读写瓶颈显现、性能急剧下降为支持百万级数量队列。

引入 RocksDB kv 存储：1. 元数据写入 RocksDB 的 WAL 和内存 memtable，put 与 delete 操作更新内存，避免了实时持久化带来的性能问题；2. RocksDB 底层 LSM 树采用日志追加的方式合并了大量小文件随机读写，解决了百万队列场景下 consumeQueue 大量小文件随机读写的性能问题。

嘉宾介绍：

赵福建丨阿里巴巴高级开发工程师

2020 年 6 月毕业于东南大学 2020 年 7 月入职阿里巴巴。

---

演讲议题：RocketMQ 在小红书的特色实践

分享时间：8 月 20 日 14:45 - 15:30

议题介绍：

本演讲主要分享 RocketMQ 在小红书的特色应用场景和面临的挑战，以及小红书内部是如何落地 RocketMQ 来支撑在线业务的多活要求， 最后会介绍下广泛应用在小红书内部的延迟队列引擎、泳道、压测、全链路追踪等多项特色能力。

嘉宾介绍：

李亚斌丨小红书在线消息队列负责人

小红书在线消息队列负责人。

---

演讲议题：小米 RocketMQ 的降本增效和容灾实践

分享时间：8 月 20 日 15:45 - 16:30

议题介绍：

小米使用 RocketMQ 作为在线消息队列服务，随着业务规模逐渐扩大，一些问题也渐渐显露出，如集群成本高、抖动频繁和缺少机房容灾等，本议题将介绍小米在这些方面的一些实践经验。

内容提纲：

1. 发展历程及面临问题RocketMQ 在小米落地的两年期间，业务日生产消息量规模迅速增长至千亿级别，覆盖了订单、通知、Iot 等诸多业务场景。同时，机器成本高、社区高版本功能缺失、容灾方案不够完善等问题也逐渐显现出来，亟待解决。

2. 解决思路和落地实践。降本实践小米选型 RocketMQ DLedger 模式，基于 Raft 实现自动 Failover，但三副本冗余带来了昂贵的机器成本，本节将介绍小米如何通过单机多实例方案极大的降低了机器成本。

3. 效能提升业务需求的发展和 RocketMQ 社区版本的迭代速度都非常快，本节介绍了小米是如何在二者之间进行权衡与取舍，并通过诸如 Batch 合并、POP 消费、任意延时消息、ZSTD 压缩升级、单机多实例等功能的落地来提升业务效能。

4.多场景容灾本节将会详细介绍小米在 RocketMQ 容灾领域的思考和实践过程，并细致的分析 RocketMQ 3 种机房级灾备方案的利弊。本节内容曾整理为文章《RocketMQ 在小米的多场景灾备实践案例》，发表于 Apache RocketMQ 公众号。- 总结与展望小米在 RocketMQ 的落地过程中，对成本、效能、容灾等问题有比较完整的思考和实践。未来希望能够在社区 5.0 版本的基础上，进行例如 Stream、Severless、分层存储等云原生方面能力的探索。

嘉宾介绍：

邓志文丨小米软件研发工程师

Apache RocketMQ Committer，小米研发工程师，主要负责消息队列相关工作。

---

演讲议题：云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践

分享时间：8 月 20 日 16:30 - 17:15

议题介绍：

Apache RocketMQ 是一个可靠、高吞吐量、分布式的消息队列服务。腾讯云作为中国领先的云计算服务商之一，也大规模的提供了 Apache RocketMQ 服务。同时，腾讯云也对 Apache RocketMQ 进行了一系列优化和定制，以更好地适应公有云复杂的业务需求。在这个过程中，腾讯云也积累了大量的经验和技术，包括如何优化 Apache RocketMQ 的性能、如何提高其可靠性、如何进行监控和调优等方面。这些经验对于其他企业和开发者也具有很大的参考价值，希望分享对大家有所启发。

嘉宾介绍：

李伟丨腾讯科技（成都）有限公司资深后端开发工程师

社区里大家叫小伟(tiger)，Apache RocketMQ 北京社区联合发起人，RocketMQ 社区 Python 项目负责人，RocketMQ项目 Commiter，RocketMQ Exporter 项目主要代码贡献者，Apache Doris Contributor，著有《RocketMQ 分布式消息中间件：核心原理与最佳实践》。目前就职腾讯云消息队列团队，主要负责云上消息队列相关工作。分享一句话：技术无穷尽，真诚以待人，虚心以待学。

---

演讲议题：移动云 MQTT-RocketMQ 消息队列的海量数据流转实践

分享时间：8 月 20 日 17:15 - 18:00

议题介绍：

5G 时代，万物互联，越来越多的企业期望通过已有的数据分析业务中台对物联网数据做进一步计算处理。目前，大量的企业的业务中台架构都通过引入消息队列 RocketMQ 来进行削峰、解耦和消息通知。那么能否通过复用 RocketMQ 完成数据从海量的物联网设备端流转到数据分析业务中台（即消息队列 RocketMQ）呢？

本议题将从以下几个方面介绍一下 MQTT-RocketMQ Connect 架构，可以实现 MQTT 和 RocketMQ 消息队列之间的海量数据流转：

1. 背景；
2. MQTT-RocketMQ Connect 架构设计；
3. MQTT-RocketMQ Connect 的容器化实践；
4. MQTT-RocketMQ Connect 在移动云上的海量数据流转实践；
5. 总结与展望。

嘉宾介绍：

庄兴旺丨中移（苏州）软件技术有限公司助理软件开发工程师

中国移动云能力中心 Iaas 产品部 rpc 产品组助理研发工程师，主要负责移动云消息队列 RocketMQ 和 MQTT 的设计与研发工作

专题议程

CommunityOverCode Asia 2023

作为 Apache 软件基金会（ASF）的官方全球系列大会，每年的 CommunityOverCode Asia 都吸引着来自全球各个层次的参与者、社区共同探索 "明天的技术"。8 月 18 日至 20 日，即将强势来袭的 CommunityOverCode Asia 2023 上，大家可以近距离感受来自 Apache 项目的最新发展和新兴创新。