其他
假期充电包 | Apache Pulsar 从入门到实践
导语
Hi 小伙伴们,劳动节快乐!同时,也感谢你加入 Apache Pulsar 社区——一个快速成长的消息流技术社区。Apache Pulsar ,是 Apache 软件基金会顶级项目,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
你选择了解、学习、调研和使用 Apache Pulsar,那就对了!你在与 Apache Pulsar 社区共同携手创造未来,并将未来变成现实。Apache Pulsar 能够帮助你解决旧有技术痛点,节省成本、更好助力团队创造业务价值,突破旧技术边界!
可能你对 Apache Pulsar 还不甚熟悉,苦于手头没有好资料,不知道怎么入手,那你来到这里就对了,我们首推大家阅读、查阅 - Apache Pulsar 官方文档[1] 。同时,本文也整合了 Apache Pulsar 社区建立以来的优质干货资料,它是一份小百科、大集锦,希望对你有帮助。假期休闲时刻,欢迎了解阅读哟😄️
基础入门向
要点:通过该模块,你可以了解 Apache Pulsar 的发展过程、特性、工作原理等。
•Apache Pulsar 介绍•简介Apache Pulsar-下一代分布式消息系统•怎么用 Pulsar ?举个栗子来看看•理解Apache Pulsar工作原理•Apache Pulsar 分层存储帮你省钱•Apache Pulsar:从消息系统到流原生平台•Pulsar namespace 策略的简单小介绍•Apache BookKeeper 简介•Pulsar IO 简介•Pulsarctl 介绍•Pulsar Connector 预览篇•Pulsar Source 入门篇•Pulsar Sink 入门指南•Pulsar Kafka Client 简单介绍•译文 | 科普:Pulsar 和 Kafka 架构对比• 博文推荐 | Apache Pulsar 对现代数据堆栈至关重要的四个原因• 博文推荐|Pulsar 的消息存储机制和 Bookie 的 GC 机制原理• 博文推荐 | 一文带你看懂 Pulsar 的消息保留和过期策略• 博文推荐|多图详解 Apache Pulsar 消息存储模型• 博文推荐|Pulsar 存储空间不释放的问题分析与解决方法• 博文推荐 | Apache Pulsar 延迟消息投递解析
Pulsar VS Kafka
要点:最全面的 Pulsar VS Kafka 特性、性能对比及基准测试数据!
•原因揭秘!为什么选择 Pulsar 而非 Kafka ?•选择 Pulsar 而不是 Kafka 的 7 大理由•Kafka 已落伍,转角遇见 Pulsar!•对比Apache Kafka和Apache Pulsar创建工作队列•Apache Pulsar 与 Kafka 性能比较:延迟性(测试结果)•Apache Pulsar 与 Kafka 性能比较:延迟性(测试过程)•Apache Pulsar 与 Kafka 性能比较:延迟性(测试方法)•Pulsar VS. Kafka(1): 统一的消息消费模型(Queue + Stream)•Pulsar VS. Kafka(2): 以Segment为中心的架构•Pulsar和Kafka基准测试:Pulsar性能精准解析(完整版)•Apache Pulsar 与 Apache Kafka 在金融场景下的性能对比分析• 译文|选择 Apache Pulsar 而非 Kafka 的 10 个理由
Pulsar 进阶篇
要点:了解 Pulsar 基础后,让我们更深入的了解 Pulsar 的负载均衡、认证授权、访问模式等细节,大展拳脚!
•Pulsar 负载均衡设计•深入了解 Pulsar 认证和授权机制•Pulsar 如何应用到数据查询中•Pulsar SQL -- 数据流的并发查询•用 Apache Pulsar SQL 查询数据流•Apache Pulsar 的访问模式与分层存储•Apache Pulsar 正式引入 Cloud Storage Sink 连接器:实现 Apache Pulsar 数据上云•使用 Elastic Beats 搜集日志到 Pulsar•如何使用 Pulsar Dashboard 监控•如何使用 OpenTracing 和 Jaeger 追踪 Pulsar 消息•使用 Apache SkyWalking 对 Apache Pulsar 进行消息链路追踪与性能监控•如何使用 Apache Flume 发送日志数据至 Apache Pulsar•深入理解之 Apache Pulsar Connector 与 Partition 关系篇•在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar•如何在 Pulsar 中使用 Debezium Connector•Pulsar 分级存储 -- S3 演示• 博文推荐 | Apache Pulsar 三大跨地域复制解决方案• 博文推荐|深度解析如何在 Pulsar 中实现隔离• 博文推荐|腾讯专家深度解析 Apache Pulsar 五大应用场景
Pulsar 集群
要点:手把手教你如何实现跨地域复制以及搭建简单的测试集群!
•跨地域复制系列(一)Apache Pulsar Pulsar的跨地域复制机制介绍•跨地域复制系列(二)Apache Pulsar 的跨地域复制实践•MacOS 单机搭建 Pulsar 集群•在多台 Linux 服务器上搭建 Pulsar 集群•订阅状态的复制?跨机房同步下如何应用• 译文 | Apache Pulsar 集群如何确保消息不丢
Functions
要点:带你快速了解 Pulsar Functions 并分享其使用指南!
•一篇文章了解 Pulsar Functions•用 Pulsar Functions 进行实时分析•Pulsar Functions 的深入小分享•Pulsar Functions 简要指南:原理、目标与规划•Functions Debug 终极指南•Pulsar Functions Worker 的选举机制•Apache Pulsar 之 Java Function 实践篇•Apache Pulsar 之 Python Function•基于 Pulsar Functions 的事件处理设计模式•深入理解 Apache Pulsar Connector 与 Functions 的关系•Apache Pulsar 之 Go Function• 译文 | 深度剖析 Pulsar Functions• 新功能详解+试用征集:Pulsar Function Mesh• 译文|借助 Pulsar Functions 迁移到无服务应用程序
BookKeeper
要点:Apache BookKeeper 很难吗?点击下方文章带你深入浅出,一起再看 BookKeeper!
•Apache BookKeeper 简介•Apache BookKeeper 很复杂吗?你细品•一起再看 BookKeeper(不知是不是大结局)•为什么选择 Apache BookKeeper - Part 1•为什么选择 Apache BookKeeper — Part 2•使用 GCS offloader 卸载存储在 BookKeeper 中的数据•使用 AWS S3 offloader 卸载存储在 BookKeeper 中的数据
批流融合
要点:批流融合是如何实现的?
•Queuing vs Streaming•Flink Forward China: 使用Apache Pulsar和Apache Flink进行批流一体的弹性数据处理•Flink 和 Pulsar 的批流融合•从消息系统到数据平台•如何使用 Apache Flink 查询 Pulsar 流•Pulsar 怎样为批流处理提供融合的存储
•如何基于 Pulsar 和 Spark 进行批流一体的弹性数据处理?
用户案例及重大发布
要点:让我们一起看看各大公司在哪些场景会使用 Pulsar!
•在 STICORP 使用 Apache Pulsar 构建数据驱动的应用程序•Narvar 为何迁移到 Apache Pulsar•个推基于 Apache Pulsar 的优先级队列方案•雅虎日本如何用 Pulsar 构建日均千亿的消息平台•甜橙金融如何利用 Apache Pulsar 在日均上亿的交易中抵御金融诈骗•Apache Pulsar 在腾讯计费场景下的应用•化繁为简 - 腾讯计费高一致 TDXA 的实践之路•Pulsar 在涂鸦智能的实践•Pulsar SQL 在智联搜索日志中的应用•为什么 Nutanix Beam 没选择 Apache Kafka,而选择了 Apache Pulsar?•Apache Pulsar 在 BIGO 的性能调优实战(上)•跨城实践中,腾讯如何应用 Apache Pulsar•Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践•Apache Pulsar 助力江苏移动重塑 5G 时代计费支撑系统•Apache Pulsar在智联招聘的实践 -- 从消息队列到基于Apache Pulsar的事件中心•Apache Pulsar 携手 THG,开启深度实践和积极回馈 Apache 之旅•Apache Pulsar 在 EMQ 物联网平台产品 ActorCloud 上的应用• Apache Pulsar 在能源互联网领域的落地实践• Apache Pulsar 在 BIGO 的性能调优实战(下)• 从 Kafka 到 Pulsar,BIGO 打造实时消息系统之路• 传智教育 x Pulsar:互联网教育的未来• Apache Pulsar 在自研数据管道中的技术实践
•StreamNative 和中国移动宣布开源 AoP:Apache Pulsar 支持原生 AMQP 协议•KoP 正式开源:在 Apache Pulsar 上支持原生 Kafka 协议•批流融合:Pulsar Flink Connector 2.7.0 发布• KoP 2.8.0 新特性前瞻(内附视频)• StreamNative 宣布开源 AWS SQS Connector
博文推荐
要点:全网最全面 Pulsar 相关干货博文合集!
•Pulsar IO 中 Schema 的调用流程•Apache Pulsar 基于 Log4j2+Kafka+ELK 实现日志的快速检索•消息系统的发展趋势:云原生是未来•深度解析云原生消息队列 AMQP•Apache Pulsar 在移动云上的应用•Pulsar Topic 压缩•译文|Pulsar Schema Registry•译文|LogDevice 与 Apache Pulsar 之间的对比•使用 Apache Pulsar Functions 进行简单事件处理•译文|Apache Pulsar 如何保证消息不丢不重?•译文|Apache Pulsar 的分层存储•译文|如何将 Pulsar 用作消息队列
视频及活动回顾
要点:带你走进 Pulsar 相关活动!
Pulsar Meetup 2021
• Apache Pulsar PMC成员翟佳:Pulsar 2021 展望与规划• 活动回顾 | Apache Pulsar Meetup 杭州站 & 上海站(含 PPT 和视频)• 活动回顾 | Apache Pulsar Meetup · 北京站(含 PPT 和视频)• 活动回顾 | Apache Pulsar Meetup · 深圳站(附视频与PPT)• 活动回顾 | Apache Pulsar Meetup · 广州站(附视频与PPT)
Pulsar Summit Asia 2020
•视频回顾 | Pulsar Summit Asia 2020 · 主题演讲•视频回顾 | Pulsar Summit Asia 2020 · 场景案例(上):即时零售, 金融证券, 物联网, 电信计费等•视频回顾 | Pulsar Summit Asia 2020 · 场景案例(下):覆盖 IoT、电商、联邦学习、能源互联网等行业•视频回顾 | Pulsar Summit Asia 2020 · 技术探究与生态:解析 Pulsar 组件,生态融合•视频回顾 | Pulsar Summit Asia 2020 · 英文专场:汇聚全球 Pulsar 开发者精彩•StreamNative CEO 郭斯杰带你深度解析“消息、流、存储”三位一体融合趋势
更多 Pulsar 视频汇总地址:https://space.bilibili.com/391380821
TGIP 相关文章、PPT及视频
请复制下面链接获取:(百度云盘下载)
链接: https://pan.baidu.com/s/1s2Q9WTz5RCTqV38Vrn1phw
密码: 82sq
引用链接
[1]
Apache Pulsar 官方文档: https://pulsar.apache.org/docs/en/standalone/