Flink SQL 之 Calcite Volcano优化器（源码解析）
Calcite作为大数据领域最常用的SQL解析引擎，支持Flink , hive, kylin , druid等大型项目的sql解析
同时想要深入研究Flink sql源码的话calcite也是必备技能之一，非常值得学习
我们内部也通过它在做自研的sql引擎，通过一套sql支持关联查询任意多个异构数据源（eg : mysql表join上 hbase表在做一个聚合计算）
因为calcite功能比较多，本文主要还是从calcite重要的主流程源码入手，主要侧重在VolcanoPlanner的优化器上
梳理一下Calcite SQL执行的几个阶段
总结下来就是
1. 通过Parser解析器将传入的sql解析成一颗词法树，SqlNode作为树的节点
2. 做词法的校验Validate，类型校验，元数据校验等等
3. 将校验好的SqlNode树转换成对应的关系代数表达式，也是一颗树，RelNode作为节点
4. 将RelNode关系代数表达式树，通过内置的两种优化器Volcano , Hep 优化关系代数表达式得到最优逻辑代数的一颗树，也是RelNode
5. 最优的逻辑代数表达式（RelNode）,会被转换成对应的可执行的物理执行计划（转换逻辑根据框架有所不同），像Flink就转成他的Operator去运行
来详细的看下每个阶段
1. Sql语句解析成语法树阶段（SQL - > SqlNode）
这一个阶段其实不是calcite实现的，而是calcite自己定义了一套sql语法分析规则模板，通过javaCC这个框架去实现的
拉代码来看下
源码中那个Parser.jj就是calcite核心的语法模板了，比如说我们要为flink sql添加什么语法比如count window就要修改这里
其中定义了是什么sql token 如何返回sqlNode的具体逻辑
看个例子
"select ID,NAME from MYHBASE.MYHBASE where ID = '1' "就会被解析成这样一颗sqlNode树
这里就不赘述了，javacc 可以参考官网（https://javacc.github.io/javacc/）
2 . 语法校验validator阶段
这里通过校验器去校验，这里不展开了，不是重点
3. 将sqlNode转成relNode的逻辑表达式树（sqlNode - > relNode）
这里calcite有默认的sql2rel转换器org.apache.calcite.sql2rel.SqlToRelConverter
这里也先不展开了
4. 逻辑关系代数树优化（relNode - > relNode）
这里是中重点中的重点！！！为什么有那么多框架选择Calcite就是因为它的sql优化
通过3阶段我们得到了一个relNode树，但这里这颗树并不是最优解，而calcite通过自身的两种优化器planner得到一个优化后的best树
这里才是整个calcite的核心，calcite提供的两种优化器
HepPlanner规则优化器（简单理解为定义许多规则Rule，只要能符合优化规则的树节点的就按规则转换，得到一颗规则优化后的树，这个比较简单）
VolcanPanner代价优化器（基于代价cost，树会根据rule一直迭代,不停计算更新root relnode节点的代价值，来找到最优的树）
先来看下
select ID,NAME from a where ID = '1'这样sql转换而来的一颗RelNode树长什么样子
可以看到很多节点都是以Logical命名的，因为这是3阶段通过calcite默认的转化器（SqlToRelConverter）转换而来的逻辑节点，逻辑节点是没有物理属性的也无法运行的
接下来进入calcite的代价cost优化器VolcanoPlanner进行优化
返回的就是代价最优的解
进去calcite的optimize方法
首先calcite会将我们上一阶段得到的relNode设置到我们代价Volcano优化器的root里去
在其中 org.apache.calcite.plan.volcano.VolcanoPlanner.registerImpl() 方法中
断点的地方在register的过程中会先将relnode的input先注册
在ensureRestered方法中
可以看到有绕回了registerImpl()方法
也就是树的子节点深度遍历先注册
接下来看一下注册过程
既然是深度遍历回到刚才看的VolcanoPlanner.registerImpl()方法中看下onRegister()方法之后做了什么
可以看到要触发规则了，这里就要穿插一个概念，calcite中的Rule
从类描述中我们可以知道，规则可以将一个表达式转换成另一个，什么意思呢，来看下有哪些抽象方法
什么意思呢？归纳起来就是两个核心方法
matches（）返回当前的relnode是否能匹配上此规则rule
onMatch () 当匹配上此规则时，这个方法会被调用，在其中可以调用transformTo()方法，这个方法的作用就是将一个relNode转换成另一个relNode
规则就是整个calcite的核心了，其实所有的sql优化都是由对应的rule组成的，将sql的优化逻辑实现为对应的rule让对应的relNode树节点做对应的转换来得到最优的best执行计划
ok回到我们的主流程上，继续上面的volcanoPlanner.fireRule()方法看看如何触发规则的
这里逻辑是比较简单的，就是当relnode满足rule就调用volcanoRuleCall的match()方法
但是有个地方需要注意，这里的classOperands这里包含了relNode以及所有可能匹配上这个relnode的规则的映射关系，并且可以向上也可以向下
具体是什么意思呢？
假设我有一个LogicFilter的RelNode，然后定义了两个规则
RuleA
operand(Logicalfilter.class, operand(TableScan.class))RuleB
operand(Logicalproject.class, operand(Logicalfilter.class))那这两个rule都会进入这个可能匹配上的映射关系classOperands里面去
当匹配上rule以后，接着来继续看代码
然后走到了volcanoPlanner.DeferringRuleCall的onMatch中
这里就是把这个rule的加入到了IterativeRuleDriver中的ruleQueue，这个队列就是专门用来存放已经匹配上的rule的，不难发现这些匹配上的rule只是存在队列里面，但还没有执行这些规则
那多久会执行呢？
回到主流程当我们setRoot里的所有relnode子节点都register以后
会走具体planner的findBestExp()方法，从名字可以看出来找到最优的表达式
这里要提前说一下，claicte的优化原理是，它假定如果一个表达式最优，那它的局部也是最优的，那当前relNode的best我们也就只用关心，从
1.子节点的所有best加起来
2. 自己能匹配上的所有规则，以及剩下部位的best加起来
从中比较得到的就是当前relnode的最优解了
引用个图
如果A只能匹配这两种规则，那我们枚举求最优解的时候就只用考虑这几张情况
关于原理不太了解的可以看看这篇 https://io-meter.com/2018/11/01/sql-query-optimization-volcano/
接着看findBestexp()
这里就是整个优化寻找最优解bestExp的主loop了
不停的从queue中拿rule, 运行rule,直到所有rule都执行完才退出
没错这里的这个queue就是前面说到的，当默认的relnode注册进来的时候会把能匹配上的rule放这queue里面去
这里自然就有个疑问， 前面说到rule运行的时候会改变relNode节点，也就是添加relndoe的等价节点，
那这里树的结构变化会导致，之前不能匹配上的rule改变树的结构后就能匹配上，那这里能匹配上的rule不就漏了，那就接着看rule的onMatch()中用于转换等价节点的方法transformTo（）
其中转换的新节点，在transformTo方法中又会执行register
也就是说新来的节点也会走一遍，默认relNode注册的流程，当新节点注册成等价节点会有新的规则匹配上的时候，又会将此rule加入rulequeu中等待下一次执行rule了
另外当这个relnode节点会被规则rule转换时,生成的新relnode会被设置加入到这个relnode的等价节点中去
加入等价节点，并且在propagateCostImprovement方法中
计算当前等价节点会不会使，当前relnode的cost代价下降，如果下降了，那就更新当前relnode的bestcost并且向上冒泡修改父relnode的最优bestCost
while true 一直触发拉取ruleQueue中的rule,直到rule为空
然后rule会添加新的等价节点
新的等价节点如果更优cost,更新整棵树的best Relnode
新的等价节点relnode会匹配上新的规则，新的rule加入到rulequeue中
进入下一次循环，直到没有rule可以匹配上，这样bestexp就可以返回优化后的最优的relnode了
之后就是根据这个最优的relnode,不同的框架翻译成自己的api
calciet终于说完，，之后就可以开始解析flink sql的源码了
本地地址：https://www.cnblogs.com/ljygz/p/15421973.html
end
公众号(zhisheng)里回复 面经、ClickHouse、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章。