查看原文
其他

干货 | ELK 日志实时分析实战

铭毅天下 铭毅天下Elasticsearch 2022-09-08

0、问题来源

1、日志实时分析是 Elasticsearch 三大核心业务场景之一

Elasticsearch架构选型指南——不止是搜索引擎,还有......曾强调:Elasticsearch 三大核心业务场景:

  • 搜索服务场景。

  • 日志实时分析场景。

  • 商业智能 BI 场景。

2、少啰嗦,先看东西

2.1 日志数据准备

以 Python 日志作为数据源,开搞。

在 Python 中,日志记录可以分为 5 种不同级别:

  • Info — 指定信息性消息,在粗粒度级别突出显示应用程序的进度。

  • Debug — 指定对调试应用程序最有用的细粒度信息事件。

  • Warning — 指定警告/告警事件。

  • Error  — 指定已出错,但仍允许应用程序继续运行的事件。

  • Critical — 指定可能导致应用程序中止的非常严重的错误事件。

日志随机生成 Python 3.X 脚本如下:

import logging
import random

logging.basicConfig(filename="logFile.txt",
                    filemode='a',
                    format='%(asctime)s %(levelname)s-%(message)s',
                    datefmt='%Y-%m-%d %H:%M:%S')
for i in range(0,30):
    x=random.randint(0,2)
    if(x==0):
        logging.warning('Log Message')
    elif(x==1):
        logging.critical('Log Message')
    else:
        logging.error('Log Message')

生成日志文件 logFile.txt 部分内容如下:

2021-07-10 21:57:29 ERROR-Log Message
2021-07-10 21:57:29 ERROR-Log Message
2021-07-10 21:57:29 CRITICAL-Log Message
2021-07-10 21:57:29 WARNING-Log Message
2021-07-10 21:57:29 CRITICAL-Log Message
2021-07-10 21:57:29 ERROR-Log Message

2.2 Logstash 数据处理

本文 Logstash、Elasticsearch、Kibana 版本均为:7.12.0。

Logstash 三段论核心:

  • Input:输入

  • filter:处理(最最核心)

  • Output:输出

结合本文日志场景:

  • input:日志。

  • filter:日志处理,获取各个细分字段核心内容。

  • output:输出到 Elasticsearch,以便于后续的 Kibana 数据分析。

input{
 file{
 path => "/home/elasticsearch/logstash-7.12.0/config/logFile.txt"
 start_position => "beginning"
 }
}
filter
{
 grok{
 match => {"message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log-level}-%{GREEDYDATA:message}"}
 }
    date {
    match => ["timestamp""ISO8601"]
  }
}
output{
 elasticsearch{
 hosts => ["172.21.0.14:19022"]
 index => "my_log_index"}
stdout{codec => rubydebug}
}

input、output 基本结合字段含义都能看懂。

就中间部分的 grok、date 处理感觉有点云里雾里,我们下一小节拆解讲解。

2.3 数据同步到 Elasticsearch

Logstash 中的 output 环节已经设置输出的索引名称:my_log_index。

同步执行只需要在 logstash 路径下执行如下命令即可:

./bin/logstash -f ./config/logs.conf

执行成功截图如下:

导入 Elasticsearch 数据如下:

{
        "_index" : "my_log_index",
        "_type" : "_doc",
        "_id" : "FQ_QkHoBnDDRiRgWByxG",
        "_score" : 1.0,
        "_source" : {
          "path" : "/home/elasticsearch/logstash-7.12.0/config/logFile.txt",
          "timestamp" : "2021-07-10 21:57:29",
          "@version" : "1",
          "tags" : [
            "_dateparsefailure"
          ],
          "host" : "VM-0-14-centos",
          "message" : [
            "2021-07-10 21:57:29 ERROR-Log Message",
            "Log Message"
          ],
          "@timestamp" : "2021-07-10T14:26:29.448Z",
          "log-level" : "ERROR"
        }
      },

2.4 Kibana 可视化分析

Kibana 可视化分析就是基于日期维度的数据源做分析。

核心步骤如下:

  • 步骤1:创建 index patterns(最关键一步)。

  • 步骤2:Discover 查看数据流(非必须,可直接跳第三步)。
  • 步骤3:日志聚合 Dashboard 分析。

如上三个环节都“中规中矩”、几乎没有坑,不再拆解解读,有问题可以留言讨论。

3、filter 环节核心原理解读

filter 中间处理环节用到了两个核心插件:

3.1 插件一:date 插件

3.1.1 date 插件定义

date 插件也可以称为:日期过滤器。

用途:用于解析字段中的日期,然后使用该日期或时间戳作为事件的日志记录时间戳。

如下代码代表将:timestamp 字段转换成 ISO8601 数据类型。

 date {
    match => ["timestamp""ISO8601"]
  }

3.1.2 date 插件适用场景

日期或时间戳类型转换。

3.1.3 date 插件核心参数解读

ISO8601 的本质含义:将日期字段解析为 “2011-04-19T03:44:01.103Z“ 类型。

还有其他类型,诸如:UNIX、UNIX_MS、TAI64N 等。

详细解释参考官方文档:

https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html

3.2 插件二:grok 插件

3.2.1 grok 插件定义

将非结构化日志数据解析为结构化和可查询的日志。

3.2.2 grok 插件适用场景

适合 syslog 日志、apache 日志和其他网络服务器日志、mysql 日志,以及通常为人类而非计算机使用编写的任何日志格式。

3.2.3 grok 插件附带的 120 + 匹配模式

第一次看 filter 处理环节,不理解:

%{TIMESTAMP_ISO8601:timestamp}  

类似语法的含义。

实际上:

  • TIMESTAMP_ISO8601 就是匹配模式;

  • timestamp 解析后存储 TIMESTAMP_ISO8601 格式数据的变量,且该变量会作为 elasticsearch Mapping 中的一个字段。

匹配模式的本质其实是:正则表达式。

120 + 匹配模式对应的官方文档:

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

本文用到的匹配模式对应的正则表达式如下:

字段说明:

第一列:匹配类型名称。

第二列:匹配的正则表达式。

TIMESTAMP_ISO8601  %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?

LOGLEVEL ([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo?(?:rmation)?|INFO?(?:RMATION)?|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

GREEDYDATA .*

代码面前,了无秘密。

所以,再回头看 filter 语法会很通透。

3.2.4 grok 插件测试工具

为了更方便我们的提前测试,官方也提供了匹配工具,

工具一:一个网站 http://grokdebug.herokuapp.com/。

工具二:kibana 自带 Grok Debugger 工具。

显然,Kibana 自带 Grok Debugger 更为清爽。

4、小结

日志实时分析是 ELK 组件的核心业务场景之一,而核心中的核心是 Logstash 中间处理 filter 环节。

掌握了 filter 环节,就掌握了 ELK 实时日志分析的精髓。

欢迎大家留言讨论自己的 ELK 实战遇到的问题。

参考

https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

https://medium.com/free-code-camp/how-to-use-elasticsearch-logstash-and-kibana-to-visualise-logs-in-python-in-realtime-acaab281c9de

推荐


更短时间更快习得更多干货!
中国50%+Elastic认证工程师出自于此!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存