OPPO | 构建实时数仓实践揭秘

点击上方蓝字设为星标

每天发文07:37一起成长！

一、建设背景

二、顶层设计

使用 Flink SQL 所 带来的好处在于

• 第一，Flink SQL 可以保证端到端的一致性，无论是从 Kafka 到 Kafka，还是从 Kafka 到 HDFS，都能够保证端到端的数据一致性，这一点对于接入链路而言是非常重要的。

• 第二， Flink SQL 具有强大的数据预处理能力，OPPO 过去在数据接入通道里面使用过 Flume 等，但是这些组件的数据处理性能很难提升上去，因此需要追加很多机器来实现性能提升。而使用 Flink 之后，使得数据处理能力有了巨大提升。

• 第三，能够使用一套代码来实现将数据落入到 HDFS 和 Kafka 里面去，因此大大降低了维护成本。

SQL 一统天下的数据架构

对于数仓领域的近期发展而言，其中很有意思的一点是：无论是离线还是实时的数据架构，都慢慢演进成了 SQL 一统天下的架构。无论是离线还是实时是数据仓库，无论是接入，查询、开发还是业务系统都是在上面写 SQL 的方式。

三、落地实践

四、未来展望

今天的分享就到这里，谢谢大家。

---

在文末分享、点赞、在看，给个三连击呗~~

据统计，99%的数据同行都关注了这个公众号

👇

热文推荐：