Logstash grok过滤器自定义模式不起作用

Question

我有一个日志文件（ http://codepad.org/vAMFhhR2 ），我想从中提取一个特定的数字（第18行）我写了一个自定义模式grok过滤器，在http：// grokdebug上测试它。 herokuapp.com/ ，它运行正常并提取我想要的值。

这是logstash.conf的样子：

input {
    tcp {
        port => 5000
    }
}

filter {
    grok{
         match => [ "message", "(?<scraped>(?<='item_scraped_count': ).*(?=,))" ]
    }
}

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
    }
}

但它与Kibana上相同日志中的任何记录都不匹配

思考？

Answer 1

您的正则表达式可能有效，但前瞻和后瞻（“？=”和“？<=”）在这种情况下不是一个好的选择。 相反，您可以使用更简单的过滤器：

match => [ "message", "'item_scraped_count': %{NUMBER:scraped}" ]

这将解压后的数'item_scraped_count':一个名为场scraped ，使用“NUMBER”神交内置模式 。

结果在Kibana：

{
  "_index": "logstash-2017.04.11",
  "_type": "logs",
  "_source": {
    "@timestamp": "2017-04-11T20:02:13.194Z",
    "scraped": "22",
    (...)
  }
}

如果我可以建议另一个改进：由于您的消息分布在多行中，您可以使用multiline输入编解码器轻松合并它：

input {
    tcp {
        port => 5000
        codec => multiline {
            pattern => "^(\s|{')"
            what => "previous"
        }
    }
}

这将合并所有行，以空格开头或{'与前一行。