SPARK_WORKER_CORES 和 SPARK_EXECUTOR_CORES 的区别？

Question

使用独立集群管理器时，如何将核心数配置为 SPARK_WORKER_CORES 和 SPARK_EXECUTOR_CORES。

Answer 1

根据此处的火花文档

SPARK_WORKER_CORES ：允许 Spark 应用程序在机器上使用的内核总数（默认值：所有可用内核）。

例如：如果您有一个由 5 个节点（1 个主节点和 4 个从节点）组成的集群，并且每个节点配置为 8 核和 32GB 内存……那么通过使用 SPARK_WORKER_CORES，我们可以配置每个 worker（即节点）可以使用多少个内核）。 默认值是使用所有内核。 （提示：我们还需要为操作系统保留 2 个内核，为 NM 保留 1 个内核，为 Spark 守护进程保留 1 个内核）

SPARK_EXECUTOR_CORES ：此属性用于控制执行器级别的内核。 spark 可以根据资源可用性为每个 worker（即节点）启动多个 executor。 此条件应始终满足(SPARK_EXECUTOR_CORES < SPARK_WORKER_CORES)

如果你配置 SPARK_WORKER_CORES = 5 cores 和 SPARK_EXECUTOR_CORES=1 那么 spark 可以在每台机器上运行 5 个 executor。

注意： SPARK_WORKER_CORES 属性仅在您在 Spark 独立模式下运行 spark 时才有意义。