ELK（Elasticsearch、Logstash、Kibana）堆棧 - 我真的需要同時配置 Logstash 和 Filebeat 嗎？

Question

我想為我們的自定義應用程序在本地部署 ELK 堆棧。 因此，我參考了官方文檔的安裝指南，安裝了 Elasticsearch 集群和 Kibana。 然后是問題： 文檔說如果我願意，我可以處理來自任何自定義應用程序的日志（如果內置模塊不適合我），我應該只配置 Filebeat 以便它可以收集這些日志作為輸入. 但是 Filebeat 的 output 應該是什么？ 我聽說 Elasticsearch 應該得到處理的結構化日志（例如，JSON 格式）作為輸入； 但是我們的應用程序會生成純文本日志（因為它是 Java 應用程序，日志可以包含堆棧跟蹤和其他混合數據），它們應該首先被處理和結構化......或者不應該嗎？

所以，這是我關於這種情況的問題：

1. 我是否需要將 Filebeat output 設置為 Logstash 輸入以格式化和結構化日志，然后將 Logstash output 設置為 Elasticsearch 輸入？ 或者我可以將 Filebeat 中的日志直接轉發到 Elasticsearch？
2. 在這種情況下我真的需要 Filebeat，還是可以將 Logstash 配置為自行讀取日志文件？

Answer 1

Filebeat 和 Logstash 既可以單獨工作，也可以協同工作。 如果您所要做的就是跟蹤您的日志文件並將它們發送到 Elasticsearch，而不對它們執行任何處理，那么我會說 Filebeat 的 go 因為它比 Logstash 更輕量級。

如果您需要對日志文件執行一些處理和轉換，那么您有幾個選項，具體取決於您選擇的解決方案。 您可以利用：

• Filebeat 處理器
• Logstash 過濾器
• Elasticsearch 攝取處理器

作為旁注，我提請您注意您的 Java 應用程序不一定必須生成純文本日志。 使用ecs-logging-java ，它還可以生成 JSON 日志，准備好被攝取到 Elasticsearch 中。

如果您使用上述日志庫，那么 Filebeat 將非常適合您的用例，但這當然取決於您是否需要解析和處理日志中的message字段。