FFA 2023 「生产实践」专场:技术优化与智能运维
今年 Flink Forward Asia(以下简称 FFA ) 重新回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程已正式上线!
12 月 9 日,FFA 2023 生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B 站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。
Flink 易用性和稳定性在 Shopee 的优化
范 瑞|Tech Lead of Shopee Flink Runtime Team,Apache Flink&Streampark Committer
潘月鹏|Shopee Senior Engineer,Apache StreamPark Committer, Apache Flink Contributor
议题介绍:
作业重启排查流程优化 作业 lag 排查流程优化
二、稳定性优化
Container 资源隔离与优化 State 和 Checkpoint 的优化 优化 Watermark alignment 达到生产可用 提供更智能更易用的 Restart strategy
Flink 默认调度器的痛点 Task 均衡性调度的原理 Task 均衡性调度在社区的进展 收益分析
优化 Flink 热更新并行度的能力,实现秒级原地扩缩容 基于 Autoscaler 与并行度的热更新实现并行度全托管
B 站 Flink 作业全链路效率优化实践
丁国涛|bilibili 基础架构部资深开发工程师
议题介绍:
5.2 更完备的热扩缩支持
快手 Flink 超大规模生产可用改造
刘建刚|快手技术专家
议题介绍:
一、稳定性建设,讲述快手 Flink 大规模 AZ 逃生能力。
二、Flink runtime adaption 能力建设,主要讲述动态灰度升级。
三、Flink on K8S 技术改造和大规模迁徙。
腾讯基于 Flink
的实时场景下技术优化及实践
张 蛟|腾讯云流计算研发资深高级开发工程师,Apache Flink Contributor
议题介绍:
一、腾讯基于云原生 Flink 的背景及发展现状
二、基于 Flink+数据湖实现流批一体遇到的问题、解决方案及效果
三、针对实时场景下 Flink State 大状态存在的内存及性能问题,优化方案与效果
四、Flink Trace 解决 Flink、Flink Sql、Flink CDC 下的调试困难问题,实现全链路数据跟踪与监控
五、后续的规划及展望
字节跳动实时数仓质量与成本治理平台实践
朱福生|字节跳动数据工程师
议题介绍:
随着业务对数据时效要求的提升和实时任务数量的不断增加,字节跳动已运行了上万的 Flink 实时任务,由于实时任务依赖的组件繁多、开发人员众多 、开发习惯和经验参差不齐等各类主客观因素,导致任务稳定性、资源浪费等问题频出。因此任务治理势在必行,但纵观整个治理过程,仍存在以下矛盾:业务与治理的矛盾、人力与治理的矛盾、问题与可评价的矛盾。本文以下四个方面来介绍实时数仓治理平台如何让实时治理简单、高效、可持续化
一、实时数仓治理平台背景
二、实时数仓治理平台体系
三、实时数仓治理平台收益
Flink 自动化运维的大规模落地实践
陈张昊|字节跳动基础架构工程师,Apache Flink Contributor
议题介绍:
五、未来与展望
Flink 流批一体在华为
的平台建设以及应用实践
王 锋|华为技术专家
议题介绍:
四、行业实践。我们支撑场景较多,最近一次我们将流批一体应用在杭州亚运会的分钟级别计算上。
蚂蚁金服 Flink 自动调优实践
张永明|蚂蚁金服实时计算引擎团队技术专家
议题介绍:
四、未来期望
我的 Flink 作业出了什么问题?
如何做平台侧的智能诊断
陈 宇|小红书数据引擎开发工程师,Apache Flink Contributor
议题介绍:
二、我们在Flink 开源社区做了哪些工作帮助进行作业诊断:
2.1 一站式 JM/TM 进程级别火焰图生成 FLIP-375
2.2 Flink 调试交互上的若干优化 FLINK-29995
三、在此基础上,我们在小红书内部做了哪些平台侧工作
3.1 智能前置检查:SQL 语法检测、connetor 检测
3.2 状态兼容性检查: Hook Task 部署流程,检测 SQL/JAR 任务改动对状态恢复的影响
Flink 实时智能诊断在滴滴的探索与实践
师彬杰|滴滴数据平台资深开发工程师
议题介绍:
四、未来规划。智能诊断未来的发展方向。
▼ 「大会官网」扫码立即参会报名 ▼
Flink Forward Asia 2023 合作伙伴
▼ 「活动推荐」首购 99 元包月试用 ▼