Flink statsD 集成

Question

我們在啟用了多主模式的EMR 5.29上使用Flink 1.9.1 。 我們將以下配置添加到 conf 文件夾中的 flink-conf.yaml 文件中，並將 jar flink-metrics-statsd-1.9.1.jar 1.9.1.Z68995FCBF432492D40484D04A9D2 文件夾添加到linkAC。

metrics.scope.jm: <host>.jobmanager
metrics.scope.jm.job: <host>.jobmanager.<job_name>
metrics.scope.tm: <host>.taskmanager.<tm_id>
metrics.scope.tm.job: <host>.taskmanager.<tm_id>.<job_name>
metrics.scope.task: <host>.taskmanager.<tm_id>.<job_name>.<task_name>.<subtask_index>
metrics.scope.operator: <host>.taskmanager.<tm_id>.<job_name>.<operator_name>.<subtask_index>

metrics.reporters: stsd
metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter
metrics.reporter.stsd.host: localhost
metrics.reporter.stsd.port: 8130
metrics.reporter.stsd.interval: 60 SECONDS

當我們監聽 statsD 端口時，我們沒有得到任何指標。 我們有什么遺漏的嗎？ 有沒有辦法檢查某些參數是否沒有通過？

正如其他答案之一所建議的那樣，我們也嘗試提供主服務器的 IP 地址。 似乎不起作用。

Answer 1

使用 Flink 1.9，您需要將報告者的 jar 文件復制到集群中每台機器的 lib 目錄中。 因此，將flink-metrics-statsd-1.9.1.jar從opt復制到lib中。

如果這不能解決問題，請檢查日志——那里應該有線索。

此外，statsd 通常使用端口 8125。您確定它正在偵聽 8130 嗎？

Answer 2

Found the issue: This should have been used: metrics.reporter.stsd.class: org.apache.flink.metrics.statsd.StatsDReporter Instead of: metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter