kafka_exporter不會將指標發送給普羅米修斯

Question

您能幫我安裝嗎？ 我在3個節點上有kafka集群：kafka1：9092，kafka2：9092，kafka3：9092而且我想從這些節點獲取指標。 我下載了node_exporter並將其安裝在一個節點上-kafka1。 我的服務文件的最新版本：

[Unit]
Description=Prometheus exporter for kafka.
Documentation=https://github.com/danielqsj/kafka_exporter
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/sbin/kafka_exporter --kafka.server=kafka1:9092 --kafka.server=kafka1:9092 --kafka.server=kafka1:9092
Restart=on-failure

[Install]
WantedBy=multi-user.target

node_exporter服務器啟動良好，我在日志中看到：

Jul 09 18:08:33 kafka1 systemd[1]: Started Prometheus exporter for kafka..
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Starting kafka_exporter (version=1.2.0, branch=non-git, revision=non-git)" source="kafka_exporter.go:474"
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Build context (go=go1.9.4, user=mockbuild@44b00b1726084a939a040a64de97977c, date=20180912-11:02:53)" source="kafka_expor
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Done Init Clients" source="kafka_exporter.go:213"
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Listening on :9308" source="kafka_exporter.go:499"

在prometheus配置中，我添加了工作：

  - job_name: 'Kafka exporter'
    static_configs:
    - targets: [
        '172.29.15.30:9308'
        ]

而且我在prometheus中看到了此作業和目標-它處於UP狀態，但是http://172.29.15.30:9308/metrics頁面未加載。 它給我ERR_CONNECTION_TIMED_OUT錯誤。

如果我添加了錯誤的kafka.server，則kafka_Exporter會在運行后因錯誤而停止：

ERRO[0000] Error Init Kafka Client                       source="kafka_exporter.go:210"
panic: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

因為我認為，它可以看到kafka群集。

我做錯了什么？ 我必須解決的問題？

Answer 1

Kafka不會將任何指標發送給Prometheus。 Prometheus服務器將從您的指標API中提取指標。

但是我建議最好使用官方的JMX導出器。

首先下載代理：

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.9/jmx_prometheus_javaagent-0.9.jar

然后是yaml文件：

wget https://github.com/prometheus/jmx_exporter/raw/master/example_configs/kafka-2_0_0.yml

現在您要做的是設置KAFKA_OPTS環境變量來運行此導出器：

[Service]
...
Restart=no
**Environment=KAFKA_OPTS=-javaagent:/home/morteza/myworks/jmx_prometheus_javaagent-0.9.jar=7071:/home/morteza/myworks/kafka-2_0_0.yml**

這是使用Grafana和Prometheus監視Apache Kafka的摘要

Answer 2

我認為從kafka出口商那里獲取這些指標的最好方法是讓Prometheus抓取它們。 您可以使用 kafka_exporter窗格上的注釋來執行此操作 。

您可以在此處找到更全面解決方案的示例， 請參閱本指南

如果不清楚，請發表評論