查看原文
其他

基于Zabbix实现监控Jenkins过程详解

twt社区 twt企业IT社区 2024-02-18

这篇文章主要介绍了基于zabbix实现监控Jenkins的过程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值。

一、监控架构图

二、实现思路

  • 在 Jenkins 上安装 Metrics 插件,使 Jenkins 暴露 metrics api;

  • 编写python代码从api抓取数据,并将数据解析为zabbix可以识别的格式;

  • 配置 Zabbix server 及 agent 以实现监控及告警

三、具体配置

1、安装Jenkins Metrics插件

安装 Metrics 插件,在系统配置中,会多出“Metrics”的配置,如下图:

配置项不复杂。我们需要点击“Generate...”生成一个 Access Key(生成后,记得要保存)。这个 Key 用于身份校验,后面我们会用到。

保存后,我们在浏览器中输入URL:http://jenkins.local,me/metrics/<刚生成的 Access Key> 验证 Jenkins 是否已经暴露 metrics。如果看到如下图,就说明可以进行下一步了:

1.1 Metrics 插件介绍

Metrics 插件是基于 dropwizard/metrics 实现。它通过4个接口暴露指标数据:/metrics,/ping,/threads,/healthcheck。

1.2 Metrics 插件:/metrics 接口介绍

点击上图中的metric链接 http://jenkins.local.me/metrics//metrics ,它暴露了以下指标数据:

{ version: "4.0.0", gauges: {...}, counters: {...}, histograms: {...}, meters: {...}, timers: {...}}

Gauges:某项指标的瞬时值,例如:当前 Jenkins executor 的总个数(jenkins.executor.count.value)

Counters:某项指标的总数值,例如:http 请求活动连接数(http.activeRequests)

Meters:一段时间内,某事件的发生概率,例如:Jenkins成功执行的任务每分钟的执行次数(jenkins.runs.success.m1_rate)

Histogram:统计指标的分布情况。例如:Jenkins executor 数量的分布(jenkins.executor.count.history)

Timer:某项指标的持续时间。例如:Jenkins 任务等待时间(jenkins.job.waiting.duration)

1.3 Metrics插件其他接口

/ping:接口返回pong代表 Jenkins 存活,如下图:

/threads:返回 Jenkins 的线程信息

/healthcheck:返回以下指标:

{ "disk-space" : { "healthy" : true }, "plugins" : { "healthy" : true, "message" : "No failed plugins" }, "temporary-space" : { "healthy" : true }, "thread-deadlock" : { "healthy" : true }}

Zabbix server 通过与 Zabbix agent 进行通信实现数据的采集。而 Zabbix agent 又分为被动和主动两种模式。我们使用的是被动模式,也就是Zabbix server 向 agent 索要数据。

所以,我们需要在 Zabbix agent 所在机器放一个获取 Jenkins 指标数据的脚本。再配置 Zabbix server 定时从该 agent 获取数据,最后配置触发器(trigger)实现告警。

2.1 创建监控模板并链接至主机组

2.2 创建监控项

这里需要解释其中几个选项为什么要那样填:

  • 类型:是 Zabbix server 采集指标的类型,我们选择的是 Zabbix agent,如上文所说。

  • 键值:由于我们要监控的指标并不是 Zabbix 预定义的。所以,需要使用用户自定义参数来实现监控 Jenkins 指标。Key 填的值为:jenkins.metrics[gauges.jenkins.node.count.value.value]。jenkins.metrics是需要执行的真正的 Key 名称。而 [] 内是传给该 Key 对应的命令的参数。对于初学者,Zabbix 这部分概念非常不好理解。也许这样会更好理解:在使用用户自定义参数来实现监控的情况下,Zabbix server 会将这个 Key 发送给 agent,然后 agent 根据这个 Key 执行指定的 逻辑 以获取指标数据。这个 逻辑 通常是一段脚本(shell命令或Python脚本等)。而脚本也是可以传参的,[]中的值就是传给脚本的参数。

  • 信息类型:监控数据的数据类型,由于该监控项监控的是 Jenkins node 节点的个数,所以,使用数字整型。

  • 更新间隔:指 Zabbix server 多长时间向 agent 获取一次数据。

到此,Zabbix server 端已经配置完成。可以在监测->最新数据中查看是否有最新的数据,然后可以创建仪表盘将数据以图形的方式呈现出来。其他监控项也可以按此方法进行配置。

监控脚本代码:

import requests,sys
url = "http://jenkins.xxx.me/metrics/xxx/metrics"
metrics = {}
# 将json数据扁平化def denormalize(data, keyname): for d in data.keys(): if isinstance(data[d], dict): denormalize(data[d], u"%s%s." % (keyname, d)) else: # 内存指标单位为Byte,需转换为MB if keyname == "gauges.vm.memory.total.used.":                metrics[u"%s%s" % (keyname, d)] = data[d]/(pow(1024,2)) else: metrics[u"%s%s" % (keyname, d)] = data[d] if __name__ == "__main__": respones = requests.get(url=url) data = respones.json() denormalize(data, "") if len(sys.argv) > 1: print(metrics[str(sys.argv[1])]) else: for m in metrics: print(m)

社区会员“gy13100892256”分享

欢迎点击文末阅读原文到社区讨论交流,发表您的观点

觉得本文有用,请转发、点赞或点击“在看”,让更多同行看到


 资料/文章推荐:


欢迎关注社区 “监控”技术主题 ,将会不断更新优质资料、文章。地址:http://www.talkwithtrend.com/Topic/3937


下载 twt 社区客户端 APP


长按识别二维码即可下载

或到应用商店搜索“twt”


长按二维码关注公众号

*本公众号所发布内容仅代表作者观点,不代表社区立场

继续滑动看下一个

基于Zabbix实现监控Jenkins过程详解

向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存