纱线资源管理器中未显示 Spark 执行器核心

Question

Yarn 资源管理器没有显示 spark 应用程序的总内核数。 例如，如果我们提交一个有 300 个执行程序的 spark 作业，executor-cores 是 3。那么理想情况下 spark 有 900 个内核，但在 yarn 资源管理器中只显示 300 个内核。

那么这只是一个显示错误还是 Yarn 没有看到其余的 600 个内核？

环境：HDP2.2 调度器：capacity-scheduler Spark：1.4.1

Answer 1

放

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

在capacity-scheduler.xml中

YARN 运行的容器多于分配的核心，因为默认情况下使用DefaultResourceCalculator 。 它只考虑内存。

public int computeAvailableContainers(Resource available, Resource required) {
// Only consider memory
return available.getMemory() / required.getMemory();
  }

使用 DominantResourceCalculator，它同时使用 cpu 和内存。

您可以在此处阅读有关 DominantResourceCalculator 的更多信息。