在 grok 模式的空间上拆分日志消息

Question

我grok和ELK两天。 我正在努力根据空间分解日志消息并使它们在logstash中显示为不同的字段。

我的输入模式是： 2022-02-11 11:57:49 - app - INFO - function_name=add elapsed_time=0.0296 input_params=6_3

我想在 logstash/kibana 中看到function_name 、 elapsed_time和input_params的不同字段。

目前，我有以下.conf

input{
  file{
  path => "/path/to/log/file"
  start_position => "beginning"
  }
}
filter{
  grok{
  match => {"message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log-level} %{(?<function_name>[^.]*)\.(?<elapsed_time>[^.]*)\.(?<input>[^.]*)}"}
  }
    date {
    match => ["timestamp", "ISO8601"]
    }
    function_name {
    match => ["function_name", "DATA"]
    }
    elapsed_time {
    match => ["elapsed_time", "BASE16FLOAT"]
    }
    input {
    match => ["input", "DATA"]
    }
}
output{
  elasticsearch{
  hosts => ["localhost:9200"]
  index => "math_apis"
  }
  stdout{codec => rubydebug}
}

但这只会在logstash中产生以下消息

{
          "host" => "hostname",
    "@timestamp" => 2022-02-11T06:27:49.404Z,
       "message" => "2022-02-11 11:57:49 - app - INFO - function_name=add elapsed_time=0.0296 input_params=6_3",
          "path" => "path/to/log/file",
      "@version" => "1",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

Answer 1

您可以使用以下模式：

%{TIMESTAMP_ISO8601:timestamp} - \S+ - %{LOGLEVEL:log_level} - function_name=%{NOTSPACE:function_name} elapsed_time=%{NOTSPACE:elapsed_time} input_params=%{NOTSPACE:input}

详情：

• %{TIMESTAMP_ISO8601:timestamp} - timestamp字段
• - - 文字字符串
• \S+ - 任何一个或多个非空白字符
• - - 文字字符串
• %{LOGLEVEL:log_level} - LOGLEVEL模式
• - function_name= - 文字字符串
• %{NOTSPACE:function_name} - 一个或多个非空白字符的function_name字段
• elapsed_time= - 空格和elapsed_time=字符串
• %{NOTSPACE:elapsed_time} - 一个或多个非空白字符的elapsed_time字段
• input_params= - 文字字符串
• %{NOTSPACE:input} - 一个或多个非空白字符的input字段。

在此处查看有关 Grok 模式的更多信息。

测试output：

{
  "timestamp": [
    [
      "2022-02-11 11:57:49"
    ]
  ],
  "YEAR": [
    [
      "2022"
    ]
  ],
  "MONTHNUM": [
    [
      "02"
    ]
  ],
  "MONTHDAY": [
    [
      "11"
    ]
  ],
  "HOUR": [
    [
      "11",
      null
    ]
  ],
  "MINUTE": [
    [
      "57",
      null
    ]
  ],
  "SECOND": [
    [
      "49"
    ]
  ],
  "ISO8601_TIMEZONE": [
    [
      null
    ]
  ],
  "log_level": [
    [
      "INFO"
    ]
  ],
  "function_name": [
    [
      "add"
    ]
  ],
  "elapsed_time": [
    [
      "0.0296"
    ]
  ],
  "input": [
    [
      "6_3"
    ]
  ]
}