视频回顾 | Pulsar Summit Asia 2020 · 场景案例(上):即时零售, 金融证券, 物联网, 电信计费等
关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcast、Yahoo!、腾讯、中国电信、中国移动、BIGO、VIPKID 等。
关于 Pulsar Summit
Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。
Pulsar Summit Asia 2020 已于 11 月 28-29 日顺利举办。我们将陆续整理发布 Pulsar Summit Asia 2020 回顾视频,即使错过当日直播也能帮你了解精彩分享。继主题演讲视频推送后,今日推送是 Pulsar Summit Asia 2020 大会场景案例分享(上),本次推送涵盖即时零售、金融证券、物联网、 互联网招聘、电信计费、日志服务等方向,敬请查收哟!
助力构建本地即时零售和配送平台:Apache Pulsar 在达达集团的实践
张清华
在达达集团云平台基础架构任职,架构师,目前主要负责公司消息中间件。
万明明
在达达集团云平台基础架构任职,架构师,目前主要研究方向:Apache Pulsar 在日志和流式处理的应用。
视频介绍:达达集团是中国领先的本地即时零售和配送平台,在支撑实时零售配送业务的基础技术架构中,对消息系统选型有着严格要求。伴随着业务不断快速发展,原有的其他消息平台遭遇到诸多瓶颈难以满足需求,比如 RabbitMQ 吞吐在流量高峰时抖动异常非常不稳定,Kafka 在扩容时需要较高的人工操作成本等,因此 Apache Pulsar 凭借着优秀的特征引起了我们的注意。在引入 Apache Pulsar 的过程中,我们从业务和日志两个场景对 Apache Pulsar 做了性能基础测试,并最终引入到正式线上环境。在本视频中,分享了 Apache Pulsar 在达达集团的落地实践,以及后续针对 Apache Pulsar 的计划。
Apache Pulsar 在华为云物联网之旅:上线历程与最佳配置
贺张俭
贺张俭,华为云物联网开发工程师。擅长 Java 微服务开发,对 Kafka 和 Pulsar 等中间件有丰富的使用经验,目前使用 Pulsar 替代原有的 kafka 消息总线,已在华为云物联网平台上线并运维数月。
视频介绍:华为云提供的设备接入服务(IoTDA)是华为云物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA 升级、设备联动规则等能力,并可将设备数据灵活流转到华为云其他服务。基于此背景,华为云物联网需要一款可靠的消息平台,经过多款消息系统能力与特性对比,Apache Pulsar 的多租户设计、计算与存储分离架构、支持 Share 模式消费等特性成为华为云物联网消息系统的首选。在本视频中,分享了 Apache Pulsar 在华为云物联网上线历程,并分享遇到的相关问题及解决方案。
借助 Apache Pulsar,涂鸦智能打造世界领先的 AI+IoT 平台
高天赐
2018 至今任职涂鸦智能,担任高级软件工程师;2017-2018 任职同程网络科技,担任软件工程师
视频介绍:涂鸦智能是世界领先的 AI+IoT 平台,在涂鸦智能消息系统架构中,在最上层接入了大量独立的设备,比如智能开关、智能投影仪等等,这些智能设备通过 MQTT 协议向消息系统报告消息。在涂鸦智能旧的消息系统架构中,我们遇到了很多痛点,比如 Kafka 主题数量增多的复杂管理,以及 Kafka 维护和运维需要较高的人力成本和投入。鉴于 Apache Pulsar 的诸多特性,比如计算与存储分离的架构、跨区域数据复制、低延迟和高可扩展性等功能,我们将消息系统迁移到 Apache Pulsar 上来,解决了我们长期以来架构和业务上面对的痛点。本视频介绍了 Apache Pulsar 在涂鸦智能云开发平台上的应用和实践。
最早吃螃蟹的人:Apache Pulsar 在智联招聘的发展历程、现状及展望
高顺利
智联招聘高级软件工程师
视频介绍:智联招聘是国内最早的一批 Apache Pulsar 落地企业,我们从 RabbitMQ 迁移到 Apache Pulsar 的过程中,踩过了坑,也取得了很大的成就。Pulsar 在智联内部已经稳定运行近两年的时间,Pulsar 陪伴了智联的业务发展,为业务赋能,我们内部接入的消息已经达到百亿级别量级,我们团队也从 Apache Pulsar 的小白到精通。随着接入消息量级和使用范围不断进阶扩展,我们对 Pulsar 的需求进一步扩大,我们即将迈入 Pulsar 的深水区。在使用 Apache Pulsar 过程中,我们也不断与社区积极互动,积极贡献功能与改进,希望通过我们贡献能够促进 Pulsar 的进一步发展。
实践案例:Apache Pulsar 驱动新大陆电信计费系统
周小华
新大陆软件公司技术架构师,聚焦于通信领域的商业支持系统的开发。
视频介绍:新大陆软件为电信运营商提供商业支持服务,众所周知,电信运营主要提供固定电话、移动电话和互联网接入的通信服务,电信业务拥有海量的的话单数据和信令数据,在流处理技术的推动下,需要实时处理话单,对它进行批价计费,从网元采集话单到话单入库是一个计费的全流程。为了提高处理效率,我们使用消息队列作为传递话单的媒介,在业务系统上使用过 Kafka、RocketMQ 等做为消息队列,但越来越无法满足我们的需求。我们关注并迁移到 Apache Pulsar,充分发挥它在消息队列、分层存储、Function、地域复制、Pulsar SQL 等方向的巨大潜力。在本视频,分享了 Apache Pulsar 驱动新大陆计费系统的案例,并讲述了在 Apache Pulsar 上的实践与调优。
Apache Pulsar 在金山云日志服务的最佳实践,支撑日处理数十亿条消息
刘彬
金山云大数据开发工程师,日志服务产品开发
视频介绍:金山云日志服务是一款针对日志类数据的一站式服务,提供从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务,目前支撑着多个业务线的日志查询和监控业务,每天数据量级在几十TB。Apache Pulsar 做为一款云原生的分布式消息队列平台,Apache Pulsar 计算和存储分离的架构模式,很好地解决了在日志服务类产品中的分区扩容、分区合并以及百万级别 Topic 的支撑和多租户问题 。在本视频,分享了 Apache Pulsar 在金山云日志服务的最佳实践。
基于云原生消息系统 Apache Pulsar 的新一代证券交易柜台
资飞
技术经理,资深架构师,目前在佳兆业金融科技集团有限公司负责证券交易柜台研发工作,个人在金融证券领域已有 8 年的工作经验,专注证券业务以及分布式计算方向,喜爱读书、烹饪、旅游,关注分布式、高并发、内存交易相关的技术。
视频介绍:佳兆业金融科技集团有限公司是佳兆业集团有限公司旗下全资子公司,主动拥抱互联网,求变打造出了一款集资讯、行情、交易和预约开户为一体的佳兆业交易宝,为全球各地投资者提供更便捷的服务。公司目前使用的还是传统交易柜台,而传统交易柜台架构大多是单体应用,随着用户数快速增长,无法水平扩容的架构已无法支撑日益增长的用户交易,高峰期时,延迟大大增加,甚至出现卡顿情况,极大降低了用户体验以及市场竞争力,于是研发新一代柜台迫在眉睫。
Apache Pulsar 具备的多租户支持、存储与计算分离架构、在交易场景下的削峰填谷能力、高可用以及快速水平扩展能力较好地满足了业务对系统的诸多要求。本视频分享了基于 Apache Pulasr 打造的新一代证券交易柜台实践经验与心得。
Apache Pulsar 在平安证券的实践与运维
陈翔
平安证券经纪事业部 IT 架构师
视频介绍:平安证券在当前现有架构中的消息总线面临着如诸多瓶颈,业务发展也对整体系统提出更多要求,比如身份识别与安全方面,需要消息队列要能识别控制接入的系统、IP,对于不合法的接入者予以拒绝;审计方面,要求对于接入的订阅/发布者,需要记录相关信息,用于事后审计及异常情况监控等等。所以,平安证券需要新的消息系统要具备高可用、低延时、快速伸缩扩容并能保证消息有序性。
Apache Pulsar 作为下一代云原生分布式消息流平台,本身的存储与计算分离架构、提供完善的 Restful API、基于 Function 实现的消息路由分发、过滤与统计等等特性成功吸引了我们,因此我们将原有的消息总线迁移到了 Apache Pulsar。在本视频分享了 Apache Pulsar 在平安证券的相关实践,并与大家探讨。
系列推荐
•视频回顾 | Pulsar Summit Asia 2020 · 主题演讲
点击「阅读原文」,关注 Pulsar Summit Asia 2020 演讲视频动态