Flink 不可以连续 Split(分流)？

点击蓝色“zhisheng”关注我哟

记得加个“星标”哦

前言

今天上午被 Flink 的一个算子困惑了下，具体问题是什么呢？

我有这么个需求：有不同种类型的告警数据流(包含恢复数据)，然后我要将这些数据流做一个拆分，拆分后的话，每种告警里面的数据又想将告警数据和恢复数据拆分出来。

结果，这个需求用 Flink 的 Split 运算符出现了问题。

分析

需求如下图所示：

我是期望如上这样将数据流进行拆分的，最后将每种告警和恢复用不同的消息模版做一个渲染，渲染后再通过各种其他的方式（钉钉群
邮件、短信）进行告警通知。

于是我的代码大概的结构如下代码所示：

 1//dataStream 是总的数据流
 2
 3//split 是拆分后的数据流
 4SplitStream<AlertEvent> split = dataStream.split(new OutputSelector<AlertEvent>() {
 5    @Override
 6    public Iterable<String> select(AlertEvent value) {
 7        List<String> tags = new ArrayList<>();
 8        switch (value.getType()) {
 9            case MIDDLEWARE:
10                tags.add(MIDDLEWARE);
11                break;
12            case HEALTH_CHECK:
13                tags.add(HEALTH_CHECK);
14                break;
15            case DOCKER:
16                tags.add(DOCKER);
17                break;
18            //...
19            //当然这里还可以很多种类型
20        }
21        return tags;
22    }
23});
24
25//然后你想获取每种不同的数据类型，你可以使用 select
26DataStream<AlertEvent> middleware = split.select(MIDDLEWARE);   //选出中间件的数据流
27
28//然后你又要将中间件的数据流分流成告警和恢复
29SplitStream<AlertEvent> middlewareSplit = middleware.split(new OutputSelector<AlertEvent>() {
30    @Override
31    public Iterable<String> select(AlertEvent value) {
32        List<String> tags = new ArrayList<>();
33        if(value.isRecover()) {
34            tags.add(RECOVER)
35        } else {
36            tags.add(ALERT)
37        }
38        return tags;
39    }
40});
41middlewareSplit.select(ALERT).print();    
42
43
44
45DataStream<AlertEvent> healthCheck = split.select(HEALTH_CHECK);   //选出健康检查的数据流
46
47//然后你又要将健康检查的数据流分流成告警和恢复
48SplitStream<AlertEvent> healthCheckSplit = healthCheck.split(new OutputSelector<AlertEvent>() {
49    @Override
50    public Iterable<String> select(AlertEvent value) {
51        List<String> tags = new ArrayList<>();
52        if(value.isRecover()) {
53            tags.add(RECOVER)
54        } else {
55            tags.add(ALERT)
56        }
57        return tags;
58    }
59});
60healthCheckSplit.select(ALERT).print();
61
62
63
64DataStream<AlertEvent> docekr = split.select(DOCKER);   //选出容器的数据流
65
66//然后你又要将容器的数据流分流成告警和恢复
67SplitStream<AlertEvent> dockerSplit = docekr.split(new OutputSelector<AlertEvent>() {
68    @Override
69    public Iterable<String> select(AlertEvent value) {
70        List<String> tags = new ArrayList<>();
71        if(value.isRecover()) {
72            tags.add(RECOVER)
73        } else {
74            tags.add(ALERT)
75        }
76        return tags;
77    }
78});
79dockerSplit.select(ALERT).print();

结构我抽象后大概就长上面这样，然后我先本地测试的时候只把容器的数据那块代码打开了，其他种告警的分流代码注释掉了，一运行，发现竟然容器告警的数据怎么还掺杂着健康检查的数据也一起打印出来了，一开始我以为自己出了啥问题，就再起码运行了三遍 IDEA 才发现结果一直都是这样的。

于是，我只好在第二步分流前将 docekr 数据流打印出来，发现是没什么问题，打印出来的数据都是容器相关的，没有掺杂着其他种的数据啊。这会儿遍陷入了沉思，懵逼发呆了一会。

解决问题

于是还是开始面向 Google 编程：

发现第一条就找到答案了，简直不要太快，点进去可以看到他也有这样的需求：

然后这个小伙伴还挣扎了下用不同的方法（虽然结果更惨）：

最后换了个姿势就好了（果然小伙子会的姿势挺多的）：

但从这篇文章中，我找到了关联到的两个 Flink Issue，分别是：

1、https://issues.apache.org/jira/browse/FLINK-5031

2、https://issues.apache.org/jira/browse/FLINK-11084

然后呢，从第二个 Issue 的讨论中我发现了一些很有趣的讨论：

对话很有趣，但是我突然想到之前我的知识星球里面一位很细心的小伙伴问的一个问题了：

可以发现代码上确实是标明了过期了，但是注释里面没写清楚推荐用啥，幸好我看到了这个 Issue，不然脑子里面估计这个问题一直会存着呢。

那么这个问题解决方法是不是意味着就可以利用 Side Outputs 来解决呢？当然可以啦，官方都推荐了，还不能都话，那么不是打脸啪啪啪的响吗？不过这里还是卖个关子将 Side Outputs 后面专门用一篇文章来讲，感兴趣的可以先看看官网介绍：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html

另外其实也可以通过 split + filter 组合来解决这个问题，反正关键就是不要连续的用 split 来分流。

用 split + filter 的方案代码大概如下：

 1DataStream<AlertEvent> docekr = split.select(DOCKER);   //选出容器的数据流
 2
 3//容器告警的数据流
 4docekr.filter(new FilterFunction<AlertEvent>() {
 5    @Override
 6    public boolean filter(AlertEvent value) throws Exception {
 7        return !value.isRecover();
 8    }
 9})
10.print();
11
12//容器恢复的数据流        
13docekr.filter(new FilterFunction<AlertEvent>() {
14    @Override
15    public boolean filter(AlertEvent value) throws Exception {
16        return value.isRecover();
17    }
18})
19.print();        

上面这种就是多次 filter 也可以满足需求，但是就是代码有点啰嗦。

总结

Flink 中不支持连续的 Split/Select 分流操作，要实现连续分流也可以通过其他的方式（split + filter 或者 side output）来实现

本篇文章连接是：http://www.54tianzhisheng.cn/2019/06/12/flink-split/

关注我

微信公众号：zhisheng

另外我自己整理了些 Flink 的学习资料，目前已经全部放到微信公众号了。你可以加我的微信：zhisheng_tian，然后回复关键字：Flink 即可无条件获取到。

更多私密资料请加入知识星球！

Github 代码仓库

https://github.com/zhisheng17/flink-learning/

以后这个项目的所有代码都将放在这个仓库里，包含了自己学习 flink 的一些 demo 和博客。

Flink 实战

Flink 源码解析

另外想提醒一句的是：极客时间的 Kafka 课程要到优惠结束期了，后面买就要 99 元了，现在通过扫描下面的二维码购买，可以加我微信，我给你返现，相当于 68-24=44 元，如果你还有极客时间的 35 优惠券的话，那么再减一下就是相当于 9 元就可以买到这门课程了，买到就是赚到，不容错过。买了的话，记得加我微信。