如何設置電報配置以收集 Elasticsearch 中的 kafka 主題/分區滯后

Question

我想將 kafka 主題/分區滯后放在 Elasticsearch 中。 通過使用卡夫卡洞穴和電報。

我已經在本地 macbook 中安裝了 kafka、burrow、telegraf 和 Elasticsearch。 我知道 telegraf 中有一個 burrow-input 插件。

電報洞穴插件： https://github.com/influxdata/telegraf/tree/master/plugins/inputs/burrow

請告訴我如何設置 Telegraf 配置以收集 Elasticsearch 中的主題/分區滯后。

謝謝你。

Answer 1

如果你想讓 Telegraf 作為數據管道連接 Burrow 和 Elasticsearch。 使用以下配置。

電報文件

[[inputs.burrow]]
  servers = ["http://burrowIp:8000"]
  topics_exclude = [ "__consumer_offsets" ]
  groups_exclude = ["console-*"]

[[outputs.elasticsearch]]
  urls = [ "http://elasticsearchIp:9200" ] 
  timeout = "5s"
  enable_sniffer = false
  health_check_interval = "10s"
  index_name = "burrow-%Y.%m.%d" 
  manage_template = false

此設置將在 Elastic Search 上累積數據。