FFA 2023 「行业实践」专场： 金融/电力/汽车/互联网等多行业最佳实践

今年 Flink Forward Asia（以下简称 FFA ） 重新回归线下，将于 12 月 8 - 9 日在北京望京凯悦酒店举办。Flink Forward Asia 2023 大会议程现已正式上线！

FFA 2023 官网：https://flink-forward.org.cn/

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

中原银行在流式湖仓的探索与实践

杜威科｜中原银行实时数据开发平台负责人

一、建设背景 经过多年建设后，对实时数据的关注重点不只聚焦在实效性，同时也重视可复用、完整性，需要建设企业级的实时指标、实时整合数据以支撑全面化的实时场景。

二、流式数仓架构 分析对比行内实时场景的多种解决方案，最终形成了 Kafka+Flink+Paimon+StarRocks 的架构：

2.1 技术架构：Apache Paimon 替代 kafka；融合 StarRocks 方案，解决实时 OLAP 架构

2.2 数据架构：流式数仓建模方法，分层逻辑，公共沉淀，数据一致性等

2.3 研发平台：统一开发平台，统一开发语言

三、应用场景

3.1 经典案例分析：实时指标案例、实时报表案例

3.2 应用成效对比：实效、场景、管理（治理）层面

四、未来方向

4.1 技术探索：如交易协同、流批协同

4.2 场景探索：探索仓库全面实时化

基于 Apache Flink 的

美的智能风控系统的构建与实践

曹铭斌｜美的集团风控交付中心负责人

蒋少东｜美的集团大数据架构师

随着美的全球数字化业务的拓展，智能风控承载了金融、资金、支付、认证等重要基础服务，给供应链、电商、零售、营销等核心业务提供了重要保障。在准入、交易、支付等场景，需要及时有效的识别风险事件，在事前、事中、事后给业务护驾保航。在这场景下，快速识别恶意用户、欺诈交易，黑产作案，业务风险是对平台能力的极大挑战与价值体现。本次分享主要围绕几个方面，介绍 Flink 如何应用于实时风控系统：

一、业务背景与现状

二、基于 Flink 的实时平台设计及演进

三、基于 Flink SQL 的风控指标引擎设计

四、Flink 在美的的风控场景应用

五、问题与挑战

六、未来展望

Flink 在上汽乘用车的应用

杨鸿渐｜上海汽车集团乘用车公司流计算负责人

一、公司简介

二、 流计算平台建设背景

2.1 背景&目标

2.2 发展路线

三、流计算平台核心能力

3.1 平台功能架构&业务架构

3.2 数据实时同步

3.3 数据实时计算

3.4 流作业跨平台迁移

3.5 平台 API 服务

四、流作业运营管理

4.1 粗/细粒度监控指标&细粒度监控方案

4.2 数据比对

4.3 运维保障

4.4 多租户管理

4.5 运营大屏

五、流计算在业务中应用

5.1 业务数据开发链路

5.2 零件订单履行精细化运营

5.3 整车订单及时交付 OTD

5.4 降低零件库存呆滞

六、未来展望

6.1 大模型构建数分，流批一体+湖仓一体，Flink on K8S 生产实践

Flink 在电力运行实时诊断

与预警分析的探索

姚    远｜中国电力工程顾问集团中南电力设计院有限公司注册测绘师、工程师

一、背景介绍及已有基础（已有运维平台建设，数据积累基础）

二、诊断分析的内容划分（大类划分风电和光伏，细分光伏组件、逆变器、升压站，塔筒、轴承、叶片、变桨、偏航等的诊断预警）

三、Flink 在实时诊断中的应用（光伏陈列的故障诊断从天为诊断间隔到近实时诊断，风机轴承温度和齿轮箱油温等的实时观测预警）

四、展望（优化及数据特征长期的积累）

跨越速运基于 Flink + OceanBase 

的实时分析解决方案与实践

鲍贵明｜跨越速运高级大数据工程师

跨越速运是一家主营”限时速运“服务的大型现代化综合速运企业，拥有员工 5W+，网点 3000+，覆盖全国 500+城市,是国家 AAAAA 级物流运输企业，在 2022 年《中国零担企业排行榜》中位居第二。物流行业数据分析通常要围绕运单展开，而运单来源系统繁多、更新频繁，且分析场景复杂、响应时效要求高，使用传统的纯 TP 或 AP 数据库很难解决这个问题。而通过 Flink + OceanBase 的 HTAP 能力，我们找到了新的解决方案。

Flink 在芒果的平台建设和应用实践

陈    聪｜芒果 TV 实时平台负责人

分享基于 Flink 的实时平台在芒果 TV 的构建历程，以及整个芒果 TV 的实时应用数仓建设

一、芒果 TV 实时数仓建设历程，之前内部实时计算痛点，为什么需要开发一个基于 Flink 的实时计算平台

二、自研实时平台介绍，整体功能和架构，几大自研核心模块详细介绍

三、Flink SQL 算子图像化封装，如何提升开发人员效率使 SQL 相关开发更便捷合理

四、芒果 TV 实时数仓分层实践

五、总结

米哈游 Flink 平台迭代与实践

卞煜球｜米哈游大数据资深技术专家

伴随着米哈游新游戏的上线，实时计算平台经历了更多挑战，我们主要针对场景开发，自动资源调优以及托管运维方面进行了专门的迭代

一、在开发阶段上，支持 Flink 批处理和多区服的模板任务，新增数据集成工具，采用 Calalog 进行实时表的定义，并对多云多架构下的资源进行统一管理

二、在任务运维上，使用自定义规则和全局规则实时检测任务指标，进行任务的自动资源调优和托管运维

三、在任务监控上，采用混合监控架构，提供了 API、血缘、指标监控的能力

四、未来展望，将模板任务和数据集成深入业务场景，加快自动资源调优的速度，推动流式数仓的全面化，提供更多的云原生能力

喜马拉雅基于 Flink 构建实时湖仓

的探索与实践

徐晨阳｜喜马拉雅大数据技术专家

杨    纲｜喜马拉雅大数据技术专家

喜马的实时平台基于 Flink 引擎进行构建，经过 6 年的探索，目前支撑着喜马多个业务线的实时业务。今年我们通过引入 Flink CDC、 StarRocks 和 Paimon，在电商，直播和广告场景中进行了湖仓一体架构的探索，帮助业务进行了提速。我们的分享分为下面三个部分：

一、喜马拉雅实时计算平台介绍

二、湖仓架构助力喜马业务加速的实践

三、湖仓未来展望

基于 Flink 和 Hologres 

的曹操实时数仓建设

林    震｜曹操出行实时计算负责人

一、介绍曹操的实时数仓应用场景

二、如何使用Hologres和云flink实时数仓分层升级

三、实时数仓如何应用

四、链路保障、收益等介绍

五、后续规划

京东物流实时低代码化湖仓建设实践

康    琪｜京东物流技术专家，Apache Flink & Apache Calcite Contributor

梁宝彬｜京东物流数据开发工程师，Apache Flink Contributor

一、背景介绍

• 京东物流业务简介

• 旧有开发流程与困境

二、实时湖仓建设

• 业务挑战

• 当前技术架构

• 实时场景湖仓解决方案

三、低代码建设

• 低代码化架构设计

• 流批一体兼容

• 场景化性能调优

四、基于低代码平台实时湖仓建设

• 结合思路

• 场景实践

五、未来规划

传音多云架构下 Flink 核心数据采集链路

“快”“准”“省”的实践

盛    利｜传音移动互联大数据平台与架构团队负责人

许邦超｜传音移动互联大数据架构师

本次分享主要介绍传音在全球数据中心架构中核心数据采集链路优化和实践的技术分享，将围绕以下几个主题展开：

一、传音实时采集链路的架构变迁及应用场景：分享传音在实时采集链路方面的架构变迁过程以及在不同应用场景下的应用实践。

二、多云跨云场景下的 Flink 数据传输及故障恢复实践：介绍在多云跨云场景下，传音如何保障 Flink 作业的快速迁移和高效传输，并利用自动化平台实现跨云灾难的快速恢复，加快故障恢复速度。

三、传音 Flink 链路数据对帐技术实践：探讨在数据准确性要求高的场景下，传音采用的数据对帐和系统架构技术，以保障数据采集的丢失率小于千分之三，重复率小于千分之三。

四、传音 Flink 作业降本增效技术实践：分享在降低成本、提高效率的场景中，传音采用的作业诊断技术，以降低 Flink 资源的使用消耗，提高作业的运行效率和稳定性。

五、总结与展望

腾讯金融实时计算平台实践

张作峰｜腾讯大数据专家工程师，Apache InLong Committer，Apache Flink/Hudi Contributor

一、金融实时大数据介绍：

• 金融场景业务、场景复杂性，金融实时大数据的发展历程

二、实时开发普惠化

• 基于业务场景简化 SQL、利用全局视图解决实时数仓问题

• 结合 BI 拖拽能力生成实时数据；

• 专家经验辅助开发：SQL 实时校验、在线调试、配置化压测/对账

• Flink 算子级诊断：打通和联动算子、节点和上下游等的全部指标

三、大数据自治体系：链路复杂、组件多，如何保障 99.9%的稳定性

链路保障：

• 从问题发现、解决和防范三方面入手 (诊断、巡检和自动修复能力)

• 问题发现-健全指标体系，实现全链路异常的监控和定位

• 问题解决-建立运维工具链，和智能修复能力

• 问题防范-积累专家经验，结合指标实现问题提前发现

• 实时数据质量：基于 Flink SQL 的流批一体对账，实时数据趋势分析（陡增、掉零等）

四、实时计算在线场景化能力：

• 事件驱动型长周期标签

• 核心支付对账的场景和支持

五、未来展望

Flink 在抖音实时监控预警场景下

的落地实践

张宏博｜字节跳动数据工程师

随着实时数仓的发展建设及业务对实时数据的强诉求，实时数仓支持了越来越多高优业务，同时也遇到了新的挑战。从最初快速支持业务，到更加注重时效性、准确性，我们的目标不断提升，架构不断完善，在提升数据时效性、准确性的道路上持续探索。经历了一系列的方案->工具->平台的迭代演进后，最终沉淀了一套基于 Flink SQL 的实时监控预警体系，帮助及时发现数据问题，助力业务实现监控诉求。本次分享从数据层面和业务层面两个角度出发，为大家介绍抖音基于 Flink 的实时监控预警能力落地实践。

一、介绍实时数仓监控预警现状与痛点

二、介绍基于 Flink 的数据监控预警能力

三、介绍基于 Flink 的业务监控预警能力

四、规划展望

从 Apache Flink 到阿里云 Flink 

在传智教育博学谷大数据平台的应用与实践

赵晨杰｜传智教育资深研究员

张敬存｜传智教育资深研究员

我们将讨论传智教育在针对实时数仓业务线的最佳实践和思考，项目架构中通过 Flink+Kafka+Paimon 构建真正流批一体架构，采用从 Apache Flink 到阿里云 Flink 技术架构演进，基于阿里云平台能够很好的完成一站式开发运维任务，实现博学谷业务大规模流数据处理和实时分析。项目的业务源数据主要存放在 Mysql 中，通过 Flink CDC 基于 Mysql 的 binlog 日志对原始数据进行采集，维表直接下沉到 Paimon 中存储，用于实时计算和离线计算关联使用。另一方面，实时链路为降低延迟，依然使用 Kafka 作为消息缓存，但为了实现中间结果可查以及流批一体化，我们将 Kafka 中的数据实时同步到 Paimon 中进行存储。最后，我们将讨论大数据平台架构后续思考和改进，以将上述的内容都呈现在分享和实践中。

---

▼ 「大会官网」扫码立即参会报名 ▼

点击议题，即可查看议题详情以及讲师介绍

Flink Forward Asia 2023 合作伙伴

---

▼ 「活动推荐」首购 99 元包月试用  ▼

---

▼ 关注「Apache Flink」，获取更多技术干货 ▼

   点击「阅读原文」，直达 FFA 2023 大会官网