如何将日志保留在两个索引logstash配置中

Question

如何在一个raw_log和另一个已处理日志中将日志保留在多个索引中。

使用我当前的配置，所有日志都将转到logstash-xxx索引。 现在，我想对登录消息进行一些过滤，并想放入其他索引。 但所有匹配的日志也应转到logstash-xxx索引。

我怎样才能做到这一点。

Answer 1

听起来您似乎希望将与审核相关的消息发送到新索引，该索引可能具有单独的保留策略。 我知道这种痛苦。

有几种方法可以解决此问题。

我认为，最好的方法是识别与审计相关的项目，对其进行标记，然后在输出中使用该标记。 如...

filter {
  if [path] =~ "auth.log$" {
    mutate {
      add_tags => [ "audit" ]
    }
  }
}

output {
  elasticsearch {
    logstash-index stuff
  }

  if "audit" in [tags] {
    elasticsearch {
      audit-index stuff
    }
  }
}

使用此配置，标记为audit的事件将被放置到通常的logstash- index和单独的索引中。