SPARK_WORKER_CORES 和 SPARK_EXECUTOR_CORES 的區別？

Question

使用獨立集群管理器時，如何將核心數配置為 SPARK_WORKER_CORES 和 SPARK_EXECUTOR_CORES。

Answer 1

根據此處的火花文檔

SPARK_WORKER_CORES ：允許 Spark 應用程序在機器上使用的內核總數（默認值：所有可用內核）。

例如：如果您有一個由 5 個節點（1 個主節點和 4 個從節點）組成的集群，並且每個節點配置為 8 核和 32GB 內存……那么通過使用 SPARK_WORKER_CORES，我們可以配置每個 worker（即節點）可以使用多少個內核）。 默認值是使用所有內核。 （提示：我們還需要為操作系統保留 2 個內核，為 NM 保留 1 個內核，為 Spark 守護進程保留 1 個內核）

SPARK_EXECUTOR_CORES ：此屬性用於控制執行器級別的內核。 spark 可以根據資源可用性為每個 worker（即節點）啟動多個 executor。 此條件應始終滿足(SPARK_EXECUTOR_CORES < SPARK_WORKER_CORES)

如果你配置 SPARK_WORKER_CORES = 5 cores 和 SPARK_EXECUTOR_CORES=1 那么 spark 可以在每台機器上運行 5 個 executor。

注意： SPARK_WORKER_CORES 屬性僅在您在 Spark 獨立模式下運行 spark 時才有意義。