在Kibana上可視化靜態日志文件

Question

我有幾個Apache Server日志，我想解析為Kibana進行可視化。 現在，我已經嘗試設置Elasticsearch + Kibana + Filebeat來攝取這些服務器日志。 但是，Filebeat似乎占用了相當多的CPU使用率。

這些日志是靜態的，即我收集的舊日志。 因此，我不需要Filebeat主動監控功能。 在這種情況下，是否還有其他方法可以將我的Apache服務器日志導入Kibana一次？

另外，作為旁注，filebeat和logstash之間有什么區別？ 我讀到logstash能夠解析日志中的更多信息，例如地理位置。 但是，在嘗試我的方法時，似乎filebeat的apache模塊也能夠這樣做。

Answer 1

Filebeat將監視給定目錄中的日志以進行更改。 您可以通過將處理過的文件移動到未查看的目錄或設置ignore_older 選項來控制它。 另請參閱以close_開頭的選項，以便在此區域進行更多優化。

Filebeat是一個重量較輕的本地代理，可以進行一些處理並將日志發送到logstash或elasticsearch。 一些本地處理（例如多行和忽略）非常強大。

Logstash也可以用作托運人，但它通常用於將非結構化日志轉換為結構化數據以插入elasticsearch。 通過使用內置過濾器 ，處理選項基本上是無限的，你可以放入ruby來做真正的自定義內容。