如何將logstash中的日志/ txt文件管道傳輸到elasticsearch

Question

因此，基本上我只有一個日志或文本文件，我想使用ELK進行可視化。 我能夠在系統上設置elasticsearch和kibana。 這是我的logstash配置文件。

input { file {
    path => "G:/everything.log"
    start_position => "beginning"
} }

filter {

}

output {
  elasticsearch { hosts => ["localhost:9200"]
  index => "example" }
  stdout { codec => rubydebug }
}

在瀏覽器中打開http：// localhost：9200 /時出現

{
  "name" : "1rtH6q6",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "oicreqLyQ_iNiTrOQ0sYPQ",
  "version" : {
    "number" : "5.4.1",
    "build_hash" : "2cfe0df",
    "build_date" : "2017-05-29T16:05:51.443Z",
    "build_snapshot" : false,
    "lucene_version" : "6.5.1"
  },
  "tagline" : "You Know, for Search"
}

在我的kibana控制台中執行GET / _cat / indices？v＆pretty之后

health status index          uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana        fxFjIS55Q9-qAgqLlPE0Cw   1   1          2            0      6.3kb          6.3kb
yellow open   windows_events YUBWMzRpRTmEdu6E2UoCXg   5   1          2            0     12.6kb         12.6kb

請幫我解決這個問題

Answer 1

據我了解您的問題，您需要做幾件事才能在Kibana中顯示您的日志。

1）根據您的日志模式，您必須編寫適當的grok模式來解析您的日志文件。 您還可以使用Grok Debugger實用程序為日志編寫grok模式。

例如對於Apache訪問日志grok模式將是

   filter {
      grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
      }
      date {
        match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
      }
    }

我建議您閱讀此官方指南 。

日志文件正確解析后，您將看到數據將在您的example Elasticsearch索引上建立索引。

為了驗證數據，您可以在下面的get命令中使用

 curl -XGET 'localhost:9200/example/_search'

2）在下一步中，您必須在kibana中配置默認​​的Elasticsearch索引模式。 供參考，請閱讀這些參考

• 定義索引模式 。
• 將Kibana與Elasticsearch連接