如何动态添加更多 Kafka 主题到 Logstash 配置

Question

是否有任何选项如何添加到logstash kafka 输入多个kafka 主题？ 我正在寻找动态解决方案，因为我的主题数量正在发生变化。

我的 logstash 配置如下：

input {
    kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["company0","company1","company2","company3","company4"]
    }
} 
output {
   elasticsearch {
      hosts => ["localhost:9200"]
      index => "indextry"
      workers => 1
    }
}

在这个解决方案中，我使用了 5 个 kafka 主题，但在另一种情况下，我想使用 20 个。

是否有任何动态解决方案如何在此处添加 kafka 主题？

Answer 1

Logstash kafka 输入支持使用topics_pattern配置。

kafka {
    bootstrap_servers => "localhost:9092"
    topics_pattern => ["company.*"]
}

此配置将使用以“company”开头的每个主题。