Logstash grok 與特定字段不匹配

Question

我有制表符分隔的字符串，我想使用 grok 插件提取每個字段。 制表符分隔的字符串就像

http://www.allaboutpc.co.kr 2016110913 d6123c6caa12f08852c82b876bdd3ceceb166d5e 0 0 1 0 /Event/QuizChoice.asp?IdxEvent=3141

我想獲得各領域的網址，日期時間，散列值，COUNT1，COUNT2，共3個記錄，count4，路徑。

我使用%{DATA:hashvalue}作為第三個字段來提取哈希值，但 logstash 沒有打印哈希值

這是我的 conf 文件

input {
    stdin { }
    file {
        path => "/Users/Projects/webmastermrinput/20161021/17/*"
        codec => plain
    }
}
filter {
    # tab to space 
    mutate {
       gsub => ["message", "\t", " "]
    }
    grok {
        match => {
            'message' => "%{DATA:url} %{NUMBER:datetime2} %{DATA:hashvalue} %    {NUMBER:count1} %{NUMBER:count2} %{NUMBER:count3} %{NUMBER:count4} %      {URIPATHPARAM:path}'
        }
    }
}
output {
    stdout { codec => rubydebug }
}

輸入的 Logstash 輸出：“ http://www.allaboutpc.co.kr 2016110913 d6123c6caa12f08852c82b876bdd3ceceb166d5e 0 0 1 0 /Event/QuizChoice.asp?IdxEvent=3141”

{
    "@timestamp" => 2016-11-11T02:26:01.828Z,
    "@version" => "1",
    "host" => "MacBook-Air-10.local",
    "datetime" => "2016110913",
    "message" => "http://www.allaboutpc.co.kr 2016110913  d6123c6caa12f08852c82b876bdd3ceceb166d5e    0   0   1   0   /Event/QuizChoice.asp?IdxEvent=3141",
    "url" => "http://www.allaboutpc.co.kr"
}

Answer 1

你的 grok 工作得很好，你只需要刪除%和{ in % {NUMBER:count1}和% {URIPATHPARAM:path}之間的空格

'message' => "%{DATA:url} %{NUMBER:datetime2} %{DATA:hashvalue} %    {NUMBER:count1} %{NUMBER:count2} %{NUMBER:count3} %{NUMBER:count4} %      {URIPATHPARAM:path}'
                                                                  ^                                                                         ^
                                                                  |                                                                         |
                                                                 here                                                                    and here