ElasticSearch / Logstash數據差距

Question

我使用最小的Logstash設置和Syslog輸入來收集來自三個遠程系統的執行數據。

這可以正常工作，但有時存在數據缺口。 原始日志文件中的一些可用日志條目無法進入ElasticSearch。

我的問題是，當負載增加時Logstash是否會刪除數據。

如果是，我想知道：

1. 在我的情況下如何確認。 有沒有一種方法可以監視Logstash此類數據丟失？ Logstash會拋出錯誤或類似錯誤嗎？
2. 避免此類數據缺口的建議。 我已經降低了產生日志事件的頻率。 我認為下一步將采取此處提出的一種擴展方法： Deploying-and-scaling-logstash

謝謝，Michail

Answer 1

當前版本的logstash（1.x）的管道隊列非常小，如果擁塞，將不接受更多的消息。 對於文件{}輸入，這不是問題，因為文件將繼續坐在磁盤上等待logstash恢復。 對於沒有緩沖區的syslog，消息將丟失。

當前的建議是在中間放置一個中間人（redis，rabbitmq），當logstash擁塞時中間人會增長。

據說logstash 2.0具有真實的管道緩存，因此不需要額外的代理。