Flink Kafka 指标：如何获取它们

Question

理想情况下，我想运行一些实验来测量我的应用程序的输入消费者的压力（即，如果我的应用程序落后于输入数据主题并且消息到达的速度比处理它们的速度快）。 有人告诉我这很常见，但我不知道该怎么做

我正在阅读 1.9 Metrics文档，据我所知，我必须配置 conf/flink-conf.yaml （在独立模式下）让我们对 jmx 记者说这样的：

metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789

那么我应该使用 start-cluster.sh 脚本运行 flink 应用程序，然后呢？ 这些指标存储在哪里？

在相同的文档中，为 Kafka 指定了committedOffsets 和 currentOffsets。 我相信消费者滞后被定义为committedOffsets - currentOffsets 与否？ 这里有更多的指标（例如，records-lag-avg）， 据说这些指标也被公开了。 任何人都可以为我提供分步指南吗？ 我有点困惑

Answer 1

我会使用Prometheus JMX 导出器

根据您的环境设置，为 Prometheus 和 Grafana 使用 docker 映像或 Kubernetes Helm 图表。

有一个为 Apache Kafka 指标预配置的开源 grafana 仪表板。