查看原文
其他

Kylin 新手必看:Cube 越用越好,存储越用越少

薛开琪 apachekylin 2022-04-23

本文作者:

薛开琪,Kyligence 产品经理 & Scrum Master,Apache Kylin Contributor,帮助管理 Kylin Sprint 和 JIRA issue,并为 Kylin 贡献了许多优质内容和文档的改进。


Kylin 通过预计算技术加速大数据分析,但是依赖预计算,将所有可能分析的维度组合对应的数据都存储下来,会带来一定的存储压力和性能瓶颈。因此,如何剪枝优化 Cuboid,旨在花费尽量少的存储空间即可获得符合预期的查询效率,是运维好 Kylin 的必修课。


通常情况下,用户可以通过人工剪枝优化 Cuboid,但由于分析场景的多变性和复杂性,经过人工剪枝优化后的 Cuboid 不一定能够满足所有分析场景。Cube Planner 使得 “剪枝” 这件事变得更自动化、更简单,它能够根据原始数据特征和用户的查询习惯自动地、持续地优化 Cube。


在之前的初入门系列视频中,我们已经分享了 Kylin 三步入门,平衡查询性能和资源消耗和业务指标分析等内容。本次将由来自 Kyligence 的薛开琪,为大家带来 Cuboid 剪枝优化的相关介绍。下面这个视频你可以 get 到 Cuboid 剪枝优化的方法,尤其是 Cube Planner 和 System Cube 的原理及使用方法,还有更多 Cuboid 剪枝优化实战中的建议,助力你更好地运维 Cube!


视频亮点


  • 从 0 到 1 介绍 Cuboid 剪枝优化的必要性,展示从静态规则优化到动态调整优化的演进过程

  • 图文结合,通俗易懂,即使对 Kylin 了解不多,看了也能理解 Cube Planner 和 贪心算法 的原理

  • 详细介绍了 Cube Planner 和 System Cube 的依赖关系,列出相关配置和使用建议,方便大家灵活使用

  • 分享了多种 Cuboid 剪枝优化实战中的建议与操作方法,例如通过 “parent_forward” 与 MDC 的结合,优化查询模式难以预测的分析场景

  • 逐步、完整地演示了使用 Cube Planner 进行 Cuboid 剪枝优化的全过程,包括 System Cube 的启用方法


看了就能减少 Cube 存储空间,提升分析师查询效率的 B 站视频请👇



没办法看视频的小伙伴也不要担心,我们还精心准备了文字稿,需要请戳 Kylin 的官方 wiki:


Cuboid Pruning Optimization in Kylin

https://cwiki.apache.org/confluence/display/KYLIN/Cuboid+Pruning+Optimization+In+Kylin_CN


System Cube Introduction

https://cwiki.apache.org/confluence/display/KYLIN/System+Cube+Introduction_CN 


Kylin 初入门系列更多文章和视频,

请大家持续关注,敬请期待哦!



多入门好文



Kylin 初入门 | 从下载安装到体验查询

5000 字带你快速入门 Apache Kylin

滴滴数据仓库指标体系建设实践

终于等到你——Kylin 分布式全局字典


Kylin 社区祝大家圣诞节快乐!

圣诞节也不要忘了学习哦!


点击“阅读原文”,直达 Kylin 官方 wiki


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存