在Logstash中上传消息时进行标记

Question

我有一个庞大的提取管道，有时事情需要一段时间才能从源升级到Elasticsearch索引。 当前，当我们使用Logstash解析消息时，我们将根据源编写消息的时间来解析@timestamp字段。 但是，由于大量消息，在被Logstash提取并发送到Elasticsearch索引之前，从源生产者那里花费时间目前未知且可能非常不一致。

有没有一种方法可以将字段添加到Logstash的Elasticsearch输出插件中，以在消息发送到Elasticsearch时进行标记？

Answer 1

您可以尝试将ruby过滤器添加为最后一个过滤器，以使用当前时间创建一个字段。

ruby { 
     code => "event.set('fieldName', Time.now())"
}

Answer 2

您可以在摄取管道中完成此操作 。 这意味着该脚本是在elasticsearch中执行的，因此它的优势在于包括了由输出背压引起的任何延迟。