其他
B 站基于 StarRocks 构建大数据元仓和诊断系统
导读 今天的介绍会围绕下面四点展开:
1. 大数据元仓背景
2. 元仓技术选型及方案
3. 元仓与诊断效果
4. 总结与未来规划
分享嘉宾|杨洋 bilibili 高级开发工程师
编辑整理|马信宏
内容校对|李瑶
出品社区|DataFun
节点汇总信息:主要包括节点资源情况,例如 CPU、内存、扫描数据量等。 集群 query 汇总信息:主要包括各种 query 状态的统计信息,例如正在运行的作业数量、失败的作业数量、已完成的作业数量等。
元仓技术选型及方案
数据源层:各个组件通过 export 方式暴露其指标数据。这些指标数据可以是应用程序、服务或者系统的性能指标。 数据归集与处理层:Prometheus 通过 HTTP Pull 的方式从各个 exporter 拉取其对应的指标数据,并将其存储到时序数据库中。 数据应用层:通过 Prometheus Web UI 使用 PromQL 语句向用户展示监控指标数据。此外,还配置了一些阈值来触发监控报警,并发送相应的通知信息。
实时观测:能够实时观测到集群的指标数据,并在多维分析场景中实现秒级或亚秒级的查询返回。 复杂逻辑计算:支持复杂的逻辑计算,不需要将数据落库后打成大宽表的形式。有较高的灵活性,以便后期满足不同的需求,并在现有逻辑的基础上进行处理和分析。 存储及回放:能够存储半年甚至更久的数据,并支持数据的回放。
元仓与诊断效果
总结与未来规划
分享嘉宾
INTRODUCTION
杨洋
bilibili
高级开发工程师
2021 年加入 B 站工作至今,专注于开源大数据技术,参与过 Alluxio、Presto、Ranger、Hudi 等组件改造及优化,目前主要从事 StarRocks 落地元仓场景的工作。
往期优质文章推荐
往期推荐
DataFun
点个在看你最好看