蒋步星《JOIN运算的简化与提速》系列技术文章。
【数据蒋堂】第37期:JOIN延伸 - 维度查询语法
【数据蒋堂】第38期:JOIN延伸 - 维度其它应用
蒋步星《JOIN运算的简化与提速》系列技术文章。
【数据蒋堂】第37期:JOIN延伸 - 维度查询语法
【数据蒋堂】第38期:JOIN延伸 - 维度其它应用
明确维度定义后,还可以换一种更清晰的方式来审视数据库的结构。
这是我们常见的E-R图:
E-R图是个网状结构,实体(表)之间的外键关系直接画在图上,当实体较多时这个图就会显得非常零乱,关联线很随意,任何两个实体之间都有可能发生关联,表现出来的数据结构耦合度很高。在增加删除实体时就要考虑与之关联的所有其它实体,很可能发生遗漏关联或循环关联的现象。
而如果把维度抽取出来之后,我们可以使用总线式的结构图:
所有维度单独列出来处于中心地位,实体(表)只和维度发生关联,实体之间没有直接的关联线,数据结构的耦合度看起来很低。增加删除实体时不会影响到其它实体,不会发生遗漏关联和重复关联。
不过,需要指出的是。无论是E-R图还是总线图,只要画正确时,其中的关联线数量是差不多的,这是数据本身的关系决定的。总线图并不会比E-R中的关联线更少,但改变了看待方法后会更清晰。
为了提供关联查询能力,有些BI产品将表间关联关系(相当于一个局部E-R图)直接暴露给业务人员,这不是个好办法,业务人员难以理解E-R图,这个方案的可用性很差。如果能够由业务人员选择了数据项(字段)后就自动建立出合理的关联,那样可用性就能提高很多了。
有了维度概念,就可以一定程度地实现这一目标。
业务人员任意选择了字段之后,我们可以找出这些字段所在表,再在这些表之间寻找同维字段(优先选择主键),然后使用这些同维字段建立JOIN关系。当某个表上只有唯一的字段和另一表的主键字段同维时,那么基于这两个字段建立的JOIN关系在绝大多数情况下都是正确合理的。而且,在数据结构不是特别复杂的时候,两表之间只有唯一字段同维的条件也常常能够满足,这时候就真地能只基于数据项自动建立正确的关联关系,有些BI产品确实是这么做的。
不过,这种办法不能处理同表自关联和表间有多个同维字段的情况,以及多次递归关联的问题。想要完善地解决问题,还是需要基于DQL语法来实现关联。
上面的讨论中,我们会把发现的同维字段JOIN起来,DQL语法也是这样,只要同维的(广义)字段就可以JOIN。这样的JOIN一定有业务意义吗?
是的,只要是同维字段,JOIN起来总能想出合理业务意义。反过来,也只有同维字段之间可以JOIN,不同维字段的JOIN是没有业务意义的,不过SQL并不禁止,只要数据类型相同就可以JOIN。字段同维和JOIN有业务意义是等价的,DQL在这方面可以确保这一点。
DQL中GROUP BY总是要对应着ON(如果单表可以看成是省略ON),也就是说,GROUP BY总是针对某个维度进行的。事实上也是这样,针对测度的分组运算没有业务意义,不过SQL并没有明确出维度和测度的概念,也不会禁止这个运算。DQL则确保了不会发生无业务意义的分组。
利用这个特点,可以提高分组运算的性能。维度可能的取值是由维表长度决定的,而维表是事先知道的,这样在分组时可以采用类似基数排序法的手段提速,当然,针对维度的排序运算也可以用这种办法。不过,这个算法细节与本篇主题相关性较低,这里就不详细说明了。
正文结束
https://edu.hellobi.com/course/197/lessons (主题二)
近期文章
《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。
蒋步星,清华大学计算机硕士,著有《非线性报表模型原理》等
1989年中国国际奥林匹克数学竞赛团体冠军成员,个人金牌。
2000年创立润乾公司,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准。
2008年开始研发不依赖关系型数据的计算引擎,历经多个版本后,于2014年集算器正式发布。有效地提高了复杂结构化大数据计算的开发速度和运算效率。
2016年荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业 • 十大领军人物”。
2017年创办数据领域技术讲堂《数据蒋堂》,专注数据、每周一期。
2017年获得中国大数据产业生态大会评选的“2017年度中国数据大工匠”