![](/img/trans.png)
[英]Custom date time is same but not matching in grok date filter logstash
[英]Logstash date filter no longer matching
我正在研究一組ELK服務以在內部進行部署,並且已經在一些初始測試機器上淘汰了配置,現在將其移植到Chef Cookbook。 為了使我的菜譜更具擴展性,我編寫了Logstash配置模板作為單個函數,該模板讀取Chef節點數據並輸出配置。 為了使LS配置文件具有嵌套結構,需要進行一些特殊的引用。
無論如何,一旦我開始從測試機上獲取數據,我注意到Logstash再次使用了時間戳,該事件接收的是@timestamp
而不是從事件中提取的時間戳。 我不知道為什么。
以下是我的初始測試機和當前測試機的配置和事件示例。 我將過濾器語句縮減為僅date
部分,並修剪了除相關事件數據以外的所有內容。
filter {
date {
match => ["timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
target => "@timestamp"
}
}
解析事件:
{
"message": "Oct 1 05:32:07 web-01-01 postfix/smtp[12517]: 0E3E263266: to=<foo@blah.com>, relay=mta.blah.net[1.2.3.4]:25, delay=1.4, delays=0.23/0/0.11/1, dsn=2.0.0, status=sent (250 ok dirdel)",
"@timestamp": "2014-10-01T05:32:07.000Z",
"timestamp": "Oct 1 05:32:07",
}
filter {
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
}
解析事件:
{
"message": "Oct 29 16:45:15 web-01-01 postfix/smtp[18596]: 05D9D63FA0: to=<foo@bla.com>, relay=mailin-01.mx.blah.com[1.2.3.4]:25, delay=1.1, delays=0.03/0/0.34/0.75, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 7B67F7000557B)",
"@timestamp": "2014-10-30T18:41:33.660Z",
"timestamp": "Oct 29 16:45:15",
}
提前致謝。
這是完整的過濾器部分,其中包括grok
部分:
filter {
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
grok {
"type" => "postfix"
"patterns_dir" => [
"/opt/logstash/etc/grok_patterns"
]
"pattern" => [
"%{SYSLOGBASE} %{POSTFIXSMTPDCONNECTS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDACTIONS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDTIMEOUTS}",
"%{SYSLOGBASE} %{POSTFIXSMTPDLOGIN}",
"%{SYSLOGBASE} %{POSTFIXSMTPDCLIENT}",
"%{SYSLOGBASE} %{POSTFIXSMTPRELAY}",
"%{SYSLOGBASE} %{POSTFIXSMTPCONNECT}",
"%{SYSLOGBASE} %{POSTFIXSMTP4XX}",
"%{SYSLOGBASE} %{POSTFIXSMTP5XX}",
"%{SYSLOGBASE} %{POSTFIXSMTPREFUSAL}",
"%{SYSLOGBASE} %{POSTFIXSMTPLOSTCONNECTION}",
"%{SYSLOGBASE} %{POSTFIXSMTPTIMEOUT}",
"%{SYSLOGBASE} %{POSTFIXBOUNCE}",
"%{SYSLOGBASE} %{POSTFIXQMGR}",
"%{SYSLOGBASE} %{POSTFIXCLEANUP}"
]
"named_captures_only" => "true"
}
}
后綴模式來自https://gist.github.com/jbrownsc/4694374 ,但是我不認為它們在這種情況下非常重要。
我根據您的配置構建了以下配置,並且可以正常工作。 配置中唯一奇怪的事情是將'@message'復制到'timestamp'。 盡管我們確實看到您確實有一個有效的“時間戳”字段,但這通常是由您的grok {}(您未發布)完成的。
input {
stdin{}
}
filter {
mutate {
add_field => [ "timestamp", "%{message}" ]
}
date {
"match" => [
"timestamp",
"MMM d HH:mm:ss",
"MMM dd HH:mm:ss",
"ISO8601"
]
"target" => "@timestamp"
}
}
output {
stdout{ codec => rubydebug }
}
和輸出,顯示正確設置的@timestamp。
{
"message" => "Oct 29 16:45:15",
"@version" => "1",
"@timestamp" => "2015-10-29T23:45:15.000Z",
"host" => "0.0.0.0",
"timestamp" => "Oct 29 16:45:15"
}
這一切似乎都取決於指定過濾器的順序。 grok過濾器是創建timestamp
字段的工具,因此,如果首先指定了日期過濾器,則沒有任何操作。
顛倒順序以使grok早於日期就解決了問題,而且只花了整整10個月的時間就知道了!
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.