如何设置电报配置以收集 Elasticsearch 中的 kafka 主题/分区滞后

Question

我想将 kafka 主题/分区滞后放在 Elasticsearch 中。 通过使用卡夫卡洞穴和电报。

我已经在本地 macbook 中安装了 kafka、burrow、telegraf 和 Elasticsearch。 我知道 telegraf 中有一个 burrow-input 插件。

电报洞穴插件： https://github.com/influxdata/telegraf/tree/master/plugins/inputs/burrow

请告诉我如何设置 Telegraf 配置以收集 Elasticsearch 中的主题/分区滞后。

谢谢你。

Answer 1

如果你想让 Telegraf 作为数据管道连接 Burrow 和 Elasticsearch。 使用以下配置。

电报文件

[[inputs.burrow]]
  servers = ["http://burrowIp:8000"]
  topics_exclude = [ "__consumer_offsets" ]
  groups_exclude = ["console-*"]

[[outputs.elasticsearch]]
  urls = [ "http://elasticsearchIp:9200" ] 
  timeout = "5s"
  enable_sniffer = false
  health_check_interval = "10s"
  index_name = "burrow-%Y.%m.%d" 
  manage_template = false

此设置将在 Elastic Search 上累积数据。