查看原文
其他

全网第一份 Kylin 4.0 性能调优指南!

Zhichao Zhang apachekylin 2022-04-23

Kylin 4.0 相较之前的版本是一个重大的架构升级版本,全新的构建引擎和查询引擎极大地提升构建性能和查询性能,解决了查询单点问等痛点;去除了 HBase 依赖,很大程度地解决了 Kylin 的难运维问题,也使得 Kylin 的计算和存储分离变为可能,更加符合云原生的技术趋势。


随着 Kylin 4.0-alpha 版本的发布,全新的构建和查询引擎也使 Kylin 4.0 中的调优方式相比 Kylin 之前的版本发生了重大的变化,这使得 Kylin 老用户积累的大部分调优经验不再适用于 Kylin 4.0 。


为了使用户能够快速了解 Kylin 4.0 中的调优方式和最佳实践,避免在使用 Kylin 4.0 过程中由于其调优方式与 Kylin 之前版本的巨大差异而遇到性能瓶颈,Kyligence 的大数据架构师张智超发布了 Kylin 4.0 的最新性能调优指南。(点击“阅读原文”,直达 Kylin 4 最新性能调优指南


除此之外,我们更特意推出了本期 B 站视频,来讲解在 Kylin 4.0 中如何优化 Cube 构建和查询性能。本次视频主要分为 Cube 构建性能优化查询性能优化两个部分。


# 上篇「Cube 构建性能优化」

关于 Cube 构建性能优化,除了可以通过原有的设置层级维度、必需维度等方式对 Cube 进行剪枝来提升构建速度以外,还可以通过设置合理的 Spark 资源配置来优化构建,比如利用 Kylin 4.0 中的新特性自动调参,或者调整全局字典以及维度表快照的相关配置来提升性能。

# 下篇「查询性能优化」

而查询性能优化,则主要是通过在 Cube 中指定 shardBy 列、设置 sortBy 列顺序、减少小文件、对查询引擎 SparderContext 的配置进行调整等方式来实现的。


除了以上针对 Kylin 4.0 调优的讲解视频,大家还可以在 Kylin Wiki 中了解 Kylin 4.0 的最新进展。随着 Kylin 4.0 不断迭代更新,Kylin 4.0 的性能调优方式也会不断发生变化和更新,欢迎大家持续关注我们的最新性能调优指南」(点击“阅读原文”即可直达)


Kylin 4.0 性能调优指南目录如下图:



往期案例与实践


喜欢 Kylin 的产品和文章的话,别忘了分享」收藏」点赞」看」,让更多人知道我们哦😊



点击阅读原文
查看 Kylin 4.0 性能调优完整指南

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存