FFA 2023 「流式湖仓」专场:从技术原理到应用实践打造流式湖仓新架构
今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程已正式上线!
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
Apache Paimon:
Streaming Lakehouse is Coming
李劲松|阿里云智能开源表存储负责人,Founder of Paimon,Flink PMC 成员
五、总结
联通基于 Flink&Paimon
的流式数据湖应用实践
李振豪|联通数科大数据高级技术专家
五、未来规划
同程旅行基于 Apache Paimon
的数据湖实践
欧阳佳|同程旅行数据开发工程师
一、Paimon引入
1.1 引入背景
3.1.4 指标监控
4.3 加速实时数仓构建
汽车之家基于 Paimon 的应用实践
王 刚|汽车之家高级数据工程师
4.2 流式数仓的血缘关系与数据修复
OPPO Data&AI 统一实时湖仓实践之路
付庆午|OPPO 大数据架构师
一、OPPO Data&AI 一体实时湖仓,支持大数据降本增效,助力 AndesGPT 落地数据业务
二、实时湖仓架构演进,介绍 OPPO 实时湖仓从单纯 Flink+Iceberg 逐步演进出来 Flink+Glacier,解决多种数据实时入湖,流式数据读写,实时查询,实时索引构建,实时同步 schema 变化,元数据统一服务以及流批一体开发遇到的问题
三、实时特征工程平台构建,基于实时湖仓+Flink,实现流批一体特征工程数据开发,PB级特征实时更新,助力业务降本增效
四、统一 Data&AI 实时湖仓平台,大模型文本训练数据入湖,实现加速大语言模型训练
五、展望,Data&AI 统一实时湖仓将继续提升数据的实时性,提供高性能的数据+AI 服务
在阿里云上构建 Flink + Paimon 流式湖仓
翁才智|阿里云智能高级开发工程师,Apache Paimon PPMC,Apache Flink Committer
三、介绍实时场景下的应用:基于 Flink 的实时数仓虽然能达到秒级延时,但涉及 state 的计算成本较高。如果用户可以接受分钟级延时,可以使用 Paimon 在部分场景下代替 state 相关的运算,从而降低成本。介绍如何在阿里云上将基于 Flink + Hologres 的实时数仓改为 Flink + Paimon + Hologres 的流式湖仓。
网易基于 Flink+Paimon+Amoro
的流式湖仓实践
周劲松|网易平台开发专家,Amoro Mantainer, Apache Paimon Conrtributor
五、总结与未来规划
Flink + Paimon + Hologres
湖仓一体数据分析
喻 良|阿里云智能高级技术专家
一、传统湖仓库实现方案
三、Hologres 湖仓一体的技术架构和使用介绍
3.1 介绍 Hologres 湖仓一体的技术架构
四、Hologres 湖仓分析未来规划
使用 Paimon+StarRocks 极速
批流一体湖仓分析
王日宇|阿里云智能高级开发工程师,StarRocks Committer
一、Paimon+Starrocks 的各类使用场景介绍
二、使用 Paimon+StarRocks 数据湖分析的技术原理
三、使用 Paimon+StarRocks 构建实时数仓方案介绍
四、Paimon+StarRocks 未来的技术规划
滴滴基于 Flink 在流批一体和数据湖方向
的探索和实践
岳 猛|滴滴 Flink 引擎负责人,Flink/Hudi/Calcite/ZK Contributor
滴滴围绕 Flink 进行流批一体和数据湖方向上的技术探索和实践,包括介绍使用 Flink streaming/Batch sql 如何完成流批一体能力的建设以及 Flink + Hudi 在滴滴数据湖场景的技术探索和业务落地等。分享大致内容:
一、为什么要引入流批一体架构
二、基于 Flink 的流批一体的架构的实现
三、流批一体在业务场景的落地
四、Flink & Hudi 技术背景介绍
五、实时入湖建设经验
六、在特征和近实时场景的实践总结
七、流批一体和数据湖技术在滴滴的未来规划
Paimon x Spark:不止于数据入湖
邹欣宇|阿里云智能开源大数据平台开发工程师
四、未来规划
基于 Flink&StarRocks 构建
新一代数据底座
石 强|镜舟科技解决方案架构师
一、公司介绍
二、传统 hadoop 数据底座方案的介绍和痛点
三、新数据底座方案的介绍和优势
四、客户案例介绍
五、未来与展望
基于 Flink+Paimon 的大数据平台的建设
张 军|广联达数据中台部门担任大数据架构师
一、背景
为了适应业务的不断发展,公司从传统行业逐渐在做数字化转型,在这个过程中要根据客户的业务场景构建自己的大数据平台,很多业务需要能实时的感知数据变化,以便及时的根据数据的变化做出决策,所以能支持实时的数据变更和处理变得非常重要。所以经过对比,在我们的大数据底座建设过程中,我们选用了 Paimon 作为数据湖存储,使用 Flink 作为流处理的引擎。
根据具体的业务场景对大数据架构的存储和计算框架进行选型
基于 Flink 的 Paimon 批处理查询 提高 Flink 流读 Paimon 的时效性 对 Paimon 持续优化,比如 cache catalog、cache manifest、prefix index 等。
平安证券 Flink+Paimon 的实时架构实践
汪超飞|平安证券经纪事业部大数据基础架构工程师
1.3 新架构带来的变化
2.3 架构变化后对业务的提升
快手数据湖在实时场景的建设与实践
钟 靓|快手技术专家,Hudi Contributor
3.2 分层入湖:数仓实时离线任务的流批统一
▼ 「大会官网」扫码立即参会报名 ▼
Flink Forward Asia 2023 合作伙伴
▼ 「活动推荐」首购 99 元包月试用 ▼