為什么spark執行器核心與spark web UI中的活動任務不相等？

Question

我正在使用Spark 2.3 thrift服務器進行Ad-hoc Sql查詢。 我的spark參數在spark-defaults.conf文件中設置如下：

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

然而，當我檢查火花網ui時，火花核心與活動任務不相同，如圖所示：

活動任務如何比分配的核心更大？ 有任何想法嗎？ 謝謝！

Answer 1

我見過同樣的事情。 我不是百分百肯定，但我認為這是執行程序上的任務線程池和度量報告代碼之間的競爭條件。

如果單擊線程轉儲，您將看到正確的線程數。 但是，如果嘗試50次（運氣不錯），您將看到一個額外的任務線程正處於TIMED_WAITING狀態。