Spark UI中Executor部分的任務時間和GC時間計算

Question

我正在嘗試了解 Spark Databricks 執行程序部分中的任務時間和 GC 時間。 對於所有任務，完成所有任務的執行大約需要 20 分鍾的實際時間。 但是當我看到它在UI中顯示為 4.7 小時。 我想了解 Gc 時間和任務時間是如何在這里計算的，因為實際上它完成的時間比顯示的時間短得多。

Answer 1

由於任務並行運行，因此任務時間可能比實際經過的時間長得多。

如您所見，此屏幕截圖中有 12 個活動任務，並行運行。