在 Spark Java 中，如何以编程方式确定 *active* 内核和任务的数量？

Question

Spark Web UI 显示有关内核和任务总数和活动数量的重要信息。 如何在 Java Spark 中以编程方式获取此信息，以便向最终用户显示作业进度？

我确实读过关于从 master 中提取 JSON 版本的 web UI 页面的“append /json/”技巧，我可以通过这种方式获得内核总数......

但是有关活动内核和任务的所有信息似乎都在驱动程序 UI 页面中。 我在驱动程序 UI 页面上尝试了“/json/”技巧，它只是将我重定向回 HTML 页面。

Answer 1

看起来我们发现了两种不同的方式来揭示这些信息：

1）从 SparkContext 中检索 SparkStatusTracker（谢谢 Sai）：

JavaSparkContext javaSparkContext = ...;
JavaSparkStatusTracker javaSparkStatusTracker = javaSparkContext.statusTracker();
for (int stageId : javaSparkStatusTracker.getActiveStageIds()) {
  SparkStageInfo sparkStageInfo = javaSparkStatusTracker.getStageInfo(stageId);
  int numTasks = sparkStageInfo.numTasks();
  int numActiveTasks = sparkStageInfo.numActiveTasks();
  int numFailedTasks = sparkStageInfo.numFailedTasks();
  int numCompletedTasks = sparkStageInfo.numCompletedTasks();
  ...
}

2) 查阅驱动程序 JVM 提供的 REST API：

https://spark.apache.org/docs/latest/monitoring.html#rest-api