Flink statsD 集成

Question

我们在启用了多主模式的EMR 5.29上使用Flink 1.9.1 。 我们将以下配置添加到 conf 文件夹中的 flink-conf.yaml 文件中，并将 jar flink-metrics-statsd-1.9.1.jar 1.9.1.Z68995FCBF432492D40484D04A9D2 文件夹添加到linkAC。

metrics.scope.jm: <host>.jobmanager
metrics.scope.jm.job: <host>.jobmanager.<job_name>
metrics.scope.tm: <host>.taskmanager.<tm_id>
metrics.scope.tm.job: <host>.taskmanager.<tm_id>.<job_name>
metrics.scope.task: <host>.taskmanager.<tm_id>.<job_name>.<task_name>.<subtask_index>
metrics.scope.operator: <host>.taskmanager.<tm_id>.<job_name>.<operator_name>.<subtask_index>

metrics.reporters: stsd
metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter
metrics.reporter.stsd.host: localhost
metrics.reporter.stsd.port: 8130
metrics.reporter.stsd.interval: 60 SECONDS

当我们监听 statsD 端口时，我们没有得到任何指标。 我们有什么遗漏的吗？ 有没有办法检查某些参数是否没有通过？

正如其他答案之一所建议的那样，我们也尝试提供主服务器的 IP 地址。 似乎不起作用。

Answer 1

使用 Flink 1.9，您需要将报告者的 jar 文件复制到集群中每台机器的 lib 目录中。 因此，将flink-metrics-statsd-1.9.1.jar从opt复制到lib中。

如果这不能解决问题，请检查日志——那里应该有线索。

此外，statsd 通常使用端口 8125。您确定它正在侦听 8130 吗？

Answer 2

Found the issue: This should have been used: metrics.reporter.stsd.class: org.apache.flink.metrics.statsd.StatsDReporter Instead of: metrics.reporter.stsd.factory.class: org.apache.flink.metrics.statsd.StatsDReporter