向 PushGateway 报告 Flink 指标时，每个作业的作业名称不同

Question

我使用 Flink 1.9.1 和 PrometheusPushGateway 来报告我的指标。 报告指标的作业名称在 flink-conf.yaml 文件中定义，这使得在集群上运行的所有作业的作业名称都相同，但我希望为每个正在运行的作业报告不同的作业名称。 为此，我尝试在执行 Stream 之前覆盖作业中的配置值：

Configuration conf = GlobalConfiguration.loadConfiguration();
    conf.setString(
            "metrics.reporter.promgateway.jobName",
            conf.getString("metrics.reporter.promgateway.jobName", "") + "-" + pipeline
    );
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.getConfig().setGlobalJobParameters(conf);

当pipeline是一个字符串变量时。

在本地运行作业时，它起作用了。 但是现在我在高可用性模式下运行 flink 并且它不再工作了:(我在代码中覆盖的配置被忽略，只使用集群的 flink-conf.yaml 文件中的值。

那么如何更改每个作业的作业名称？ 如果我不能，有没有办法在报告指标时设置额外的标签？ 因为我还没有看到一个选项。

谢谢 ：）

Answer 1

您可以使用以下步骤来实现此目的：

1. 将jobName作为命令参数传递，例如：-- --jobName MyJobName

2. 设置全局参数：

public static void main(String[] args) throws Exception {
    final ParameterTool command = ParameterTool.fromArgs(args);
    String jobName = command.getRequired("jobName");

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    Configuration globalConfiguration = new Configuration();
    globalConfiguration.setString("jobName", jobName);
    env.getConfig().setGlobalJobParameters(globalConfiguration);

}

3. 用它：

ParameterTool parameters = (ParameterTool) getRuntimeContext().getExecutionConfig().getGlobalJobParameters();
parameters.getRequired("jobName");

这是一个也可以帮助您的链接： https : //ci.apache.org/projects/flink/flink-docs-stable/dev/best_practices.html#parsing-command-line-arguments-and-passing-them-在你的 flink 应用程序中