Amazon EMR 上的 Spark on Yarn 资源管理：如何利用所有可用内核执行 Spark 作业

Question

我在具有以下集群配置的 EMR 集群上运行了一个 spark 作业：

主：1：m4.2xlarge：32 GiB 的 memory，8 个 vCPU。
核心：2：m4.2xlarge：32 GiB 的 memory，8 个 vCPU。
任务节点：最多 52 个：r4.2xlarge：61 GiB 的 memory，8 个 vCPU。

---

这是我基于此博客的 spark 提交配置：

1 ： https://blog.cloudera.com/how-to-tune-your-apache-spark-jobs-part-2/ 。

spark.yarn.executor.memory=19g
spark.executor.cores=3
spark.yarn.driver.memoryOverhead=2g
spark.executor.memoryOverhead=2g
spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.minExecutors=7
spark.dynamicAllocation.initialExecutors=7
spark.dynamicAllocation.maxExecutors=1000
spark.shuffle.service.enabled=true
spark.yarn.maxAttempts=1

我正在为一个用例运行 2 个数据集的交叉连接。 我正在尝试利用我可以使用上述设置的集群上可用的 memory 和 CPU 的每一点。 我能够成功利用集群中所有可用的 memory 但不是CPU 。 我看到即使有432 个内核可用，但 spark 作业只能使用 103 个内核，如屏幕截图所示。 当作业以纱线客户端模式（zeppelin）或纱线集群模式运行时，我看到相同的行为。

我不确定缺少什么设置或不正确。 任何解决此问题的建议表示赞赏。

Answer 1

如果您在 YARN ui 中看到此内容，您可能必须在yarn-site.xml中添加此内容

yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

我也有同样的困惑。 实际上，在 Yarn UI 中使用DefaultResourceCalculator时，它只计算 memory 的使用情况，在幕后它可能使用了超过 1 个核心，但你会看到只使用了 1 个核心。 另一方面， DominantResourceCalculator计算核心和 memory 以进行资源分配，并显示核心和 memory 的实际数量。

您还可以启用神经节或查看 EMR 指标以了解更多详细信息。