自定义 Flink - Prometheus 指标

Question

我需要将自定义指标从 Flink 1.10 导出到 Prometheus。 我的自定义指标已经创建并正在工作，但问题是当我打印出来（例如在终端中）查看指标时，很多指标来自 Flink，我不需要它们，例如：flink_taskmanager_job_task_Shuffle_Netty_Input_Buffers_inputQueueLength ， 还有很多。 我只是对从 Flink 将我的自定义指标传播到 Prometheus 感兴趣，并删除其中的 rest。 所以，问题：

1. 无论如何要删除从 Flink 导出的所有指标并将我的自定义指标保留给 Prometheus？
2. 无论如何要创建静态task_id，以免在Prometheus中积累大量信息？ 因为我认为这些 id 不是固定的，并且应用程序中的每一次更改都需要停止/启动，所以 Flink 将创建一个新的 task_id。

我已经能够使用以下方法删除一些标签：“metrics.reporter.cep_reporter.scope.variables.excludes”：“job_id;job_name;task_attempt_id;task_attempt_num;task_name;operator_id;operator_name;subtask_index;tm_id;host;Netty”

但还不够，我不需要 800 多个指标，例如 JVM，我正在使用另一个 node_exporter 来抓取这些指标，也需要删除这些指标。

任何帮助将不胜感激。 非常感谢。

Answer 1

免责声明：我没有尝试过这个。

我会尝试在您的自定义 flink 指标上设置用户 scope ，然后将 prometheus 配置为仅抓取这些指标。