在Logstash和Kafka中优先处理消息

Question

我们将把不同来源的不同日志从logstash馈送到kafka。 将会有一些特定的（或某种格式）消息，kafka的消费者比其他消息更感兴趣。 我们如何确定消息的优先级？

一种想法是在kafka中创建两个主题-1）high_priority_topic 2）low_priority_topic，然后在logstash中使用过滤器将感兴趣的消息推送到high_priority_topic并将其余消息推送到其他消息。 这可能吗？

有什么建议的方法吗？

Answer 1

使用标签或输入logstash来区分high_priority和low_priority，然后有两个kafka输出。

if CONDITIONAL {
  kafka {
    topic => "high_priority_topic"
    ...
  }
}
else {
  kafka {
    topic => "low_priority_topic"
    ...
  }
}

使用类型CONDITIONAL看起来像

[type] == "high_priority"

使用标记看起来像

"high_priority" in [tags]