等效YARN MRv2 JobClient

Question

我找不到与MRv2等效的JobClient（Java，MRv1）。 我正在尝试读取正在运行的作业的MR作业状态，计数器等。 我必须从他相信的资源管理器中获取信息（因为历史记录服务器在作业结束前将没有信息，并且我需要在作业仍在运行时读取计数器）。 我缺少的mapreduce api中有一个客户端吗？

Answer 1

如果您具有提交给YARN的MR作业的应用程序ID，则可以使用：

• YarnClient （ import org.apache.hadoop.yarn.client.api.YarnClient ）和
• ApplicationReport （ import org.apache.hadoop.yarn.api.records.ApplicationReport ）

获取与应用程序相关的统计信息。

例如下面的示例代码：

// Initialize and start YARN client
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(configuration);
yarnClient.start();

// Get application report
try {
    ApplicationReport applicationReport = yarnClient.getApplicationReport(ConverterUtils.toApplicationId(applicationID));
    // Get whatever you want here.
} catch (Exception e) {
    // Handle exception;
}

// Stop YARN client
yarnClient.stop();

您可以从ApplicationReport类获得的一些信息是：

1. 应用程序资源使用情况报告

2. 应用解析

3. 最终申请状态

4. 开始和结束时间

5. 应用类型

6. 优先

7. 进度等

您可以在此处查看YarnClient和ApplicationReport的API文档（这是Hadoop 2.7文档）：

• YarnClient
• 申请报告