Hadoop作业仅使用255个核心，但我有784个核心集群

Question

嗨，我有784个核心EMR群集，我只运行一个hadoop作业，但是Hadoop作业仅使用255个内核，但是我有784个核心群集，有人可以帮助我如何调整群集以使用至少600个内核

Answer 1

一些背景：在Yarn中定义了“最大容器大小（VCores）”值-可以分配给单个容器的最大vcore。 这个数字显然少于可用vcore的总数。 运行作业时，纱线会计算出必要的容器和芯线数。 示例：总核心数：100。每个容器的最大核心数：10。作业使用了3个具有最大核心数分配的容器-正在使用30个核心。

回答您的问题：检查作业使用的容器数量，然后调整“最大容器大小（VCores）”值。

Answer 2

您可能需要为您的工作的映射器/还原器容器请求所需的vcore数量，或者提高yarn.scheduler.minimum-allocation-vcores的数量：这样，每个容器请求都将获得可用vcore的某个最小vcore 。

具有默认DefaultResourceCalculator的 EMR上的ResourceManager将始终为每个容器分配1个vcore，无论ApplicationMaster要求使用什么容器。 因此，您需要手动（通过重新启动资源管理器）或在启动时使用EMR配置API将其翻转到Capacity -scheduler.xml上的DominantResourceCalculator上，以便它可以接受来自应用程序的vcore请求。
看到类似的： 如何在hadoop mapreduce / yarn中设置VCORES？