ElasticSearch / Logstash数据差距

Question

我使用最小的Logstash设置和Syslog输入来收集来自三个远程系统的执行数据。

这可以正常工作，但有时存在数据缺口。 原始日志文件中的一些可用日志条目无法进入ElasticSearch。

我的问题是，当负载增加时Logstash是否会删除数据。

如果是，我想知道：

1. 在我的情况下如何确认。 有没有一种方法可以监视Logstash此类数据丢失？ Logstash会抛出错误或类似错误吗？
2. 避免此类数据缺口的建议。 我已经降低了产生日志事件的频率。 我认为下一步将采取此处提出的一种扩展方法： Deploying-and-scaling-logstash

谢谢，Michail

Answer 1

当前版本的logstash（1.x）的管道队列非常小，如果拥塞，将不接受更多的消息。 对于文件{}输入，这不是问题，因为文件将继续坐在磁盘上等待logstash恢复。 对于没有缓冲区的syslog，消息将丢失。

当前的建议是在中间放置一个中间人（redis，rabbitmq），当logstash拥塞时中间人会增长。

据说logstash 2.0具有真实的管道缓存，因此不需要额外的代理。