【技术贴】KyBot快速入门指南
随着Apache Kylin的深入应用,Apache Kylin集群规模不断扩大,数据存储不断增加,用户访问更加频繁,如何对整个Apache Kylin集群、底层存储、构建任务、Hadoop资源利用等有更多的了解和分析,最大限度的利用相关资源,优化查询性能,提高运行效率,保证应用稳定等逐渐成了Apache Kylin用户群的普遍且急迫的需求。
作为Apache Kylin背后的创业公司,上海跬智信息技术有限公司(Kyligence)推出了KyBot云端服务,为Apache Kylin及其商业版KAP提供 在线诊断、优化及服务平台 。KyBot通过分析Apache Kylin的日志等信息,为用户提供可视化仪表盘、系统优化、故障排查、技术支持等服务。
KyBot官方网址:http://kybot.io
KyBot是如何工作的?
KyBot功能介绍
仪表盘
以可视化的形式展现Apache Kylin系统的相关内容,包括Cube、用户访问情况、查询延迟、任务构建统计、存储等各方面的信息, 从不同维度提供整个Apache Kylin集群及应用的洞察能力。
Cube使用情况统计:
Query执行情况统计:
调优
Apache Kylin提供万亿规模数据集上的亚秒级交互式分析能力,因此,查询的优化是Apache Kylin应用的核心。KyBot可以分析相应的日志为你提供直观的性能分析视图,通过可视化来展示每一个阶段的性能消耗,以此来帮助用户快速定位瓶颈等。同时,KyBot通过对Cube日志的分析,来帮助你不断优化数据模型及Cube的设计和存储,以在存储、构建及查询性能间找到最佳的平衡点。
Cube 详情及使用分析:
SQL查询解析及统计分析:
故障排查
分布式系统在运行过程中不可避免的出现一些异常甚至故障,如何快速的定位和排查这些问题是系统运维的重中之中,KyBot通过解析异常来快速的监控相关故障信息。
异常统计:
故障追踪:
技术支持
企业级客户可以通过工单快速提交相关的支持请求,结合已经提交的相关日志及分析结果,Kyligence支持工程师可以快速定位并及时给出解决方案,大大降低了沟通成本,提升了服务响应能力。
如何使用KyBot?
KyBot是通过诊断包来分析Apache Kylin日志等信息,首先需要上传诊断包到KyBot,分析后才能使用KyBot功能。
生成诊断包
● KAP用户
登录每一个KAP节点的WEB UI,点击系统页面的"诊断"按钮,生成诊断包。
● Kylin 用户
① 下载KyBot Client 最新版(支持Apache Kylin1.5.0以上及KAP全部版本)下载路径:登录KyBot 官网http://kybot.io,在首页点击上传,然后点击“打包工具:KyBot Client ”即可下载。
② 解压到每个Kylin节点的$KYLIN_HOME/kybot目录。
③ 在每个Kylin节点运行$KYLIN_HOME/kybot/kybot.sh来生成诊断包。
混淆诊断包中的敏感信息
对于某些敏感信息,可进入$KYLIN_HOME/kybot ,编辑kybot-client.properties来进行数据保护。
● OBF=混淆 RAW=不混淆
● Cardinality和账号信息默认混淆,范围如下:
Cardinality: tiny<20, small<100 ,medium<1000, high<10,000 ,very high<100000 ,ultra high>=100,000
账号信息:邮箱服务,LADP,SAML等
● 如hostname设置为OBF,需定义hostname的模式,如kybot.obf.hostname.pattern=*.kybot.io
上传诊断包
登录KyBot网站,单击页面顶部的”上传“按钮,即打开上传页面,单击”上传诊断包“按钮,选择一个生成好的KyBot诊断包,并等待其上传成功,上传成功后即加入分析队列,用户可以在上传页面查看分析进度,分析好之后就可使用全部功能。
"Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks."
您可能还会想看:
↓欢迎您点击“阅读原文”进入KyBot网站。