Logstash - 用 grok 解析数据

Question

TL；底部的 DR

我有一个自定义生成的日志文件，其中列出了用户运行的命令（以及其他一些东西）。 为此，我有一个 grok 脚本，可以成功地将消息解析为字段。 当我被要求添加一些生成不同时间戳的非常旧的服务器时，我开始遇到错误。

这是新服务器上的日志：

[2020-07-21 12:59:31] SERVER-DB-230 john:USER=root PWD=/root PID=[22714] CMD="echo test9" Exit=[0] CONNECTION=
[2020-07-21 12:59:33] SERVER-DB-230 john:USER=root PWD=/root PID=[22714] CMD="echo test10" Exit=[0] CONNECTION=
[2020-07-21 12:59:35] SERVER-DB-230 john:USER=root PWD=/root PID=[22714] CMD="clear" Exit=[0] CONNECTION=

这是旧服务器上的日志（不同的时间戳）：

Jul 21 13:02:53 SERVER-DEV-NEW-167 root: USER=root PWD=/root PID=[10638] CMD="echo 2" Exit=[0] CONNECTION=1.2.3.4
Jul 21 13:02:54 SERVER-DEV-NEW-167 root: USER=root PWD=/root PID=[10638] CMD="echo 3" Exit=[0] CONNECTION=1.2.3.4
Jul 21 13:02:56 SERVER-DEV-NEW-167 root: USER=root PWD=/root PID=[10638] CMD="echo 4" Exit=[0] CONNECTION=1.2.3.4

由于这些是我拥有的日志的语法，我认为最好有一个“if”语句，说明 - 如果 grok 无法解析，请尝试使用此 grok 代码解析它。 问题是，即使它们非常相似，我也无法让 grok 解析这些数据。 我试图让它与 grok 调试器一起工作，但我就是无法让它工作。

这是我在logstash中的current.conf： https://pastebin.com/QZv7zM1x

有谁知道如何将第二个代码块解析成字段？ 以及如何使它仅在第一个失败时才解析？ 提前谢谢！

TL；DR：需要帮助来解析第二个日志块，并且只有在失败时才由 grok 解析它

Answer 1

这是第二个块的一个非常懒惰的解决方案； 如果您需要它更高效，那么 LMK。

(?<ts>%{SYSLOGTIMESTAMP}) (?<hname>(\b[\w\-]+\b)) (?<loggedas>%{WORD}): USER=(?<user>%{WORD}) PWD=(?<pwd>(\/[\w]+)) PID=(?<pid>(\[[\d]+\])) CMD="(?<cmd>[\s\S]+)" Exit=(?<exit>(\[[\d]+\])) CONNECTION=(?<connection>([\d]+\.[\d]+\.[\d]+\.[\d]+))

正如另一位用户提到的，您可以让它尝试多种模式。

语法是， grok { match => { "message" => [ "pattern1", "pattern2", "patternN" ] } }

Answer 2

您可以定义多个 grok 模式，而不是if语句。

grok {
  match => ["message", "pattern1", "pattern2"]
}

如果pattern1失败，它将自动尝试应用pattern2 。

至于匹配第二种类型的时间戳，它似乎是一个SYSLOGTIMESTAMP 。 您可以在此处找到所有预定义的 grok 模式。