在 Spark Java 中，如何以編程方式確定 *active* 內核和任務的數量？

Question

Spark Web UI 顯示有關內核和任務總數和活動數量的重要信息。 如何在 Java Spark 中以編程方式獲取此信息，以便向最終用戶顯示作業進度？

我確實讀過關於從 master 中提取 JSON 版本的 web UI 頁面的“append /json/”技巧，我可以通過這種方式獲得內核總數......

但是有關活動內核和任務的所有信息似乎都在驅動程序 UI 頁面中。 我在驅動程序 UI 頁面上嘗試了“/json/”技巧，它只是將我重定向回 HTML 頁面。

Answer 1

看起來我們發現了兩種不同的方式來揭示這些信息：

1）從 SparkContext 中檢索 SparkStatusTracker（謝謝 Sai）：

JavaSparkContext javaSparkContext = ...;
JavaSparkStatusTracker javaSparkStatusTracker = javaSparkContext.statusTracker();
for (int stageId : javaSparkStatusTracker.getActiveStageIds()) {
  SparkStageInfo sparkStageInfo = javaSparkStatusTracker.getStageInfo(stageId);
  int numTasks = sparkStageInfo.numTasks();
  int numActiveTasks = sparkStageInfo.numActiveTasks();
  int numFailedTasks = sparkStageInfo.numFailedTasks();
  int numCompletedTasks = sparkStageInfo.numCompletedTasks();
  ...
}

2) 查閱驅動程序 JVM 提供的 REST API：

https://spark.apache.org/docs/latest/monitoring.html#rest-api