视频回顾 | Pulsar Summit Asia 2020 · 场景案例(下):覆盖 IoT、电商、联邦学习、能源互联网等行业
关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcast、Yahoo!、腾讯、中国电信、中国移动、BIGO、VIPKID 等。
关于 Pulsar Summit
Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。
Pulsar Summit Asia 2020 已于 11 月 28-29 日顺利举办。我们将陆续整理发布 Pulsar Summit Asia 2020 回顾视频,即使错过当日直播也能帮你了解精彩分享。今日推送 Pulsar Summit Asia 2020 大会场景案例分享(下),涵盖 IoT、电子商务、联邦学习、直播、能源互联网等方向,敬请查收哟!
Apache Pulsar 在智联招聘搜索推荐中的应用:数亿数据全量更新与实时同步
李世明
智联招聘平台架构组工程师
视频介绍:在智联招聘的搜索推荐中,我们使用 Apache Pulsar 进行上亿数据的全量更新和实时同步,保证了搜索推荐多集群之间的数据最终一致性,同时使用 Pulsar SQL 查询和分析曝光记录也更加便捷。同时在机器学习的模型训练上也在使用 Pulsar 进行数据准备、加工和特征抽取的任务。本视频分享了 Apache Pulsar 在智联招聘的搜索推荐中的应用。
EMQ 联合 Apache Pulsar,打造中国电信 IoT 平台
邓海贵
EMQ X 企业版研发总监,EMQ 企业项目架构师,开源项目重要贡献者之一,拥有多年物联网接入经验,参与多项千万级平台架构设计,在企业级接入,对接开发应用有丰富知识。
视频介绍:EMQ 是一个通用物联网平台,本身具有接入设备数目多、数据量大等特点,这对 EMQ 平台架构具备快速水平扩展能力以支撑业务成长提出了要求。EMQ 的目标是寻找到一款高可用、分布式、能够灵活扩展的消息处理平台,Apache Pulsar 正好匹配了需求。在本视频中,深入解析了 Apache Pulsar 与 EMQ 构建的联合应用解决方案,并解析该联合应用解决方案在中国电信物联网场景下的实践案例。
Apache Pulsar 在苏宁易购的成长之路
程星林
苏宁大数据 Apache Pulsar 平台负责人,曾负责苏宁内部 Apache Flink 平台建设,拥有 Apache Kafka 等大数据平台经验。
视频介绍:本视频分享了 Apache Pulsar 在苏宁易购的成长之路以及当前苏宁内部的使用现状。也尝试为大家解答下面几个典型疑问:苏宁为什么在已具备完善的 Kafka 集成平台之上,还要选择从零建设 Apache Pulsar?Apache Pulsar 在苏宁内部是如何满足多活场景的?
Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践
张超
腾讯数据平台部 MQ 团队负责人,负责 Angel PowerFL 联邦通信/PowerFL on K8S 等工作。他和腾讯数据平台部 MQ 团队一起将 Apache Pulsar 引入 PowerFL 联邦学习平台,开启了 Pulsar 在机器学习领域的应用。
视频介绍:腾讯 Angel PowerFL 联邦学习平台通过解决数据隐私与数据孤岛问题,实现最大化挖掘数据价值。Apache Pulsar 作为 Angel PowerFL 联邦学习平台的重要模块,为平台提供了安全、稳定、高效的通信服务,目前已经在腾讯广告、安全领域应用场景落地。本视频介绍了 Apache Pulsar 在腾讯 Angel PowerFL 联邦学习上的实践。
借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统
陈航
陈航是 BIGO 大数据消息团队负责人,负责创建集中式的订阅-发布消息平台以支撑大量在线服务。他将 Apache Pulsar 引入到了 BIGO 消息平台并打通上下游系统生态,如 Flink、ClickHouse 及其他系统,以用来打造实时推荐和分析系统。他专注在 Pulsar 性能调优、新功能开发及 Pulsar 生态集成方向。
视频介绍:BIGO 目前旗下有 BIGO Live 和 Likee 短视频两大视频产品与服务,当前 BIGO Live 直播业务已覆盖 150 多个国家与地区,Likee 短视频也拥有超过 1 亿用户,在 Z 世代中广泛流行。在过往的技术架构中, BIGO 采用开源 Kafka 集群来支撑实时数据计算分析与短视频推荐业务。但随着业务不断快速发展,过往架构遇到了巨大挑战。Apache Pulsar 具备的分层架构及低延迟、持久化存储、水平扩展能力等特性帮助我们解决了生产系统中面临的巨大问题。本视频介绍了 BIGO 基于 Pulsar 消息流平台,借助 Flink、Flink SQL 支撑实时 ETL 以及 AB-Test 实时数据报表业务中的应用。
Apache Pulsar 助力中国移动:揭秘上云之路
孙方彬
Apache Pulsar Committer,中国移动云能力中心消息中间件团队负责人
视频介绍:作为 Apache Pulsar 项目的积极参与者,中国移动在 Pulsar 的研究与技术能力上有着深厚的积累。除了不断贡献功能 Patch 外,目前也在推动将 Apache Pulsar 部署在云端提供相关服务。本视频分享了中国移动在 Pulsar 方面的实践与心得,如 Pulsar 的 Kubernetes 集群优化,租户功能提升等。
Apache Pulsar 在能源互联网领域的落地实践
付睿
付睿于 2016 年加入清华大学能源互联网创新研究院,任职平台开发工程师。他在英国谢菲尔德大学获得了人工智能与计算科学理学学士,并在香港科技大学师从 Lei CHEN 教授获得研究硕士学位。在清华大学能源互联网创新研究院,他专注在构建 IoT 平台方向。
视频介绍:清华大学能源互联网创新研究院(EIRI)是清华大学电子工程系支持下的,致力于能源互联网领域前沿技术与工业开发领域的研究机构。我所在团队主要研究基于事件的时序数据处理平台方向,该平台尝试通过统一的事件处理框架来支撑能源互联网和物联网领域的各种业务。本视频分享了为何我们的平台要引入 Apache Pulsar 作为消息中间件,以及我们在 Apache Pulsar 和 Pulsar Function 方向的收获与经验。同时,也分享了在参与 Apache Pulsar 社区中的个人经验收获。
系列推荐
•视频回顾 | Pulsar Summit Asia 2020 · 场景案例(上):即时零售, 金融证券, 物联网, 电信计费等•视频回顾 | Pulsar Summit Asia 2020 · 主题演讲
点击「阅读原文」,关注 Pulsar Summit Asia 2020 演讲视频动态