使用logstash（ELK）轮询日志

Question

关于轮询/存储日志文件，我有两难选择。
情况是，我们需要监视Cloudhub中的日志，将它们与Logstash聚合并存储（可能与ElasticSearch一起存储）。

Anypoint Runtime Manager似乎仅在内部（不从云）支持将事件推送到第三方系统，因此我决定制作一个演示程序，以通过logstash http-poller插件通过REST api轮询日志。

我正在处理一些我没有很多经验的决定。
轮询时，您将始终在特定时间间隔内检索到最后x个日志。 我认为这些参数将取决于日志的类型，但是我仍然想知道您将在什么级别处理重复的日志。 以及如何处理错过日志的不确定性。

这是您将在存储级别处理的事情，还是在logstash中立即处理的事情？
感谢您分享您对此主题的看法。

Answer 1

我不能说我在这个主题上有很多经验，但这就是我的想法。

我认为，如果Logstash将作为服务运行，它将更多地依赖于API的输出来处理重复项。

同时，如果您在响应中定义唯一标识符，则可以告诉Logstash避免重复。

从Elasticsearch中的更改ID

elasticsearch { 
    host => yourEsHost
    cluster => "yourCluster"
    index => "logstash-%{+YYYY.MM.dd}"
    document_id => "%{someFieldOfMyEvent}"
}