Logstash grok 和正则表达式过滤器

Question

想要一个从日志消息中提取给定信息的过滤器。

目前正在使用，尽管它非常特定于一种格式/日志布局

filter {
  if "ONT" in [message] {
   grok{
      match => { "message" => "%{SYSLOGBASE} %{WORD:Alarm_Severity} %{DATA:Message} %{QS:ONT_ID} %{DATA:Time} %{QS:ONT_Message}" }
   }
 }

日志文件是：

Dec 16 15:01:13 172.20.x.xx NPF_OLT_LAB05: clear Alarm for card 1/1 at 2019/12/16 15:01:13.39: "Backup files exist"
Dec 16 15:01:13 172.20.x.xx NPF_OLT_LAB05: service "403
 for ONT: "10002" - ONT needs restart at 2019/12/16 15:01:13.39 ONT message: "Backup files exist"

想要布局给我这些参数 Time:15:01:13

主机：NPF_OLT_LAB05

警报严重性：清除

ONT ID：10002

源IP：172.20.x.xx

ONT 消息：“备份文件存在”

消息：清除卡 1/1 的警报

服务 ID：403

Answer 1

我猜这是两个不同的日志，你需要有两个不同的 grok 模式，如下所示，

Dec 16 15:01:13 172.20.12.12 NPF_OLT_LAB05：在 2019/12/16 15:01:13.39 清除卡 1/1 的警报：“备份文件存在”

Grok 模式

(?<Date>%{MONTH} +%{MONTHDAY}) %{TIME:Time} %{IPV4:SourceIP} %{NOTSPACE:HOST}\:\s(%{WORD:Severity} %{GREEDYDATA:Message})\s(?<timestamp>%{YEAR}\/%{MONTHNUM}\/%{MONTHDAY}\s%{TIME})\S\s\S%{GREEDYDATA:ONTMessage}\"

12 月 16 日 15:01:13 172.20.x.xx NPF_OLT_LAB05：ONT 服务“403：”10002“-ONT 需要在 2019/12/16 15:01:13.39 重新启动 ONT 消息：“备份文件存在”

Grok 模式

(?<Date>%{MONTH} +%{MONTHDAY}) %{TIME:Time} %{IPV4:SourceIP} %{NOTSPACE:HOST}\S\s%{WORD:Severity}\s\S%{BASE10NUM:ServiceID} %{NOTSPACE}\s(?:ONT: \S%{BASE10NUM:ONT_ID}\S) %{NOTSPACE} %{GREEDYDATA:Message}\s(?<timestamp>%{YEAR}\/%{MONTHNUM}\/%{MONTHDAY}\s%{TIME}) (?:ONT message\: \S(?<ONT Message:>%{GREEDYDATA}\S))

低于 Conf

 filter {
      if "ONT" in [message] {
       grok{
          match => { "message" => [ "(?<Date>%{MONTH} +%{MONTHDAY}) %{TIME:Time} %{IPV4:SourceIP} %{NOTSPACE:HOST}\:\s(%{WORD:Severity} %{GREEDYDATA:Message})\s(?<timestamp>%{YEAR}\/%{MONTHNUM}\/%{MONTHDAY}\s%{TIME})\S\s\S%{GREEDYDATA:ONTMessage}\"" , 
                                  "(?<Date>%{MONTH} +%{MONTHDAY}) %{TIME:Time} %{IPV4:SourceIP} %{NOTSPACE:HOST}\S\s%{WORD:Severity}\s\S%{BASE10NUM:ServiceID} %{NOTSPACE}\s(?:ONT: \S%{BASE10NUM:ONT_ID}\S) %{NOTSPACE} %{GREEDYDATA:Message}\s(?<timestamp>%{YEAR}\/%{MONTHNUM}\/%{MONTHDAY}\s%{TIME}) (?:ONT message\: \S(?<ONT Message:>%{GREEDYDATA}\S))" ]
          }
       }
     }

Answer 2

204.62.56.3 - - [20/May/2015:17:05:38 +0000] "GET /presentations/logstash-puppetconf-2012/images/kibana-chef-hits-6min-each.png HTTP/1.1" 200 80555 "http://semicomplete.com/presentations/logstash-puppetconf-2012/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36"