将JSON文件导入Logstash + Elasticsearch + Kibana

Question

所以，我有一个Web平台，每个请求打印一个JSON文件，其中包含有关该请求的一些日志数据。 我可以配置几个关于何时记录内容的规则，仅限于某些级别等...

现在，我一直在玩Logstash + Elasticsearch + Kibana3堆栈，我很想找到一种在Kibana中查看这些日志的方法。 我的问题是，有没有办法让Logstash导入这些类型的文件，还是我必须为它编写自定义输入插件？ 我一直在寻找和看到我所看到的，插件是用Ruby编写的，这是一种我没有经验的语言。

Answer 1

Logstash是处理动态文件的非常好的工具。

以下是使用logstash将json文件导入elasticsearch的方法：

配置文件：

input 
{
    file 
    {
        path => ["/path/to/json/file"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
        exclude => "*.gz"
    }
}

filter 
{
    mutate
    {
        replace => [ "message", "%{message}" ]
        gsub => [ 'message','\n','']
    }
    if [message] =~ /^{.*}$/
    {
        json { source => message }
    }

}

output
{ 
  elasticsearch {
    protocol => "http"
    codec => json
    host => "localhost"
    index => "json"
    embedded => true
  }

    stdout { codec => rubydebug }
}

json文件的示例：

{"foo":"bar", "bar": "foo"}
{"hello":"world", "goodnight": "moon"}

请注意，json需要在一行中。 如果要解析多行json文件，请替换配置文件中的相关字段：

   input 
{   
    file 
    {
        codec => multiline
        {
            pattern => '^\{'
            negate => true
            what => previous                
        }
        path => ["/opt/mount/ELK/json/*.json"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
        exclude => "*.gz"
    }
}

filter 
{
    mutate
    {
        replace => [ "message", "%{message}}" ]
        gsub => [ 'message','\n','']
    }
    if [message] =~ /^{.*}$/ 
    {
        json { source => message }
    }

}

Answer 2

Logstash只是一种工具，用于将各种syslog文件转换为JSON并将它们加载到elasticsearch（或graphite，或......）中。

由于您的文件已经是JSON，因此您不需要logstash。 您可以使用curl将它们直接上传到elasticsearch。

请参阅将JSON文件导入/索引到Elasticsearch中

但是，为了与Kibana良好配合，您的JSON文件需要最少。

1. Flat - Kibana不会嵌套嵌套的JSON结构。 您需要一个简单的键/值对散列。

2. 有一个可识别的时间戳。

我建议的是查看JSON文件的logstash输出，看看是否可以按摩你的JSON文件以匹配该结构。 您可以使用任何支持JSON的语言执行此操作。 程序jq非常便于将json从一种格式过滤到另一种格式。

Logstash格式 - https://gist.github.com/jordansissel/2996677

jq - http://stedolan.github.io/jq/

Answer 3

Logstash可以导入不同的格式和源，因为它提供了大量的插件。 还有其他日志收集器和转发器工具可以将日志发送到logstash，例如nxlog ， rsyslog ，syslog-ng，flume，kafka，fluentd等。据我所知，大多数人在Windows上使用nxlog（虽然它可以工作同样好的linux）与ELK堆栈相结合，因为它的资源占用少。 （免责声明：我隶属于该项目）