Oozie spark-submit，`--driver-cores` 参数不起作用

Question

我正在从--driver-cores选项不起作用。 例如，如果我提供了--driver-cores 4 ，yarn 仍然会为驱动程序创建 1 个 vCore 容器。

oozie 中的 Spark 选择：

<master>yarn-cluster</master>
<spark-opts>--queue testQueue --num-executors 4 --driver-cores 4 
                ...
            </spark-opts>

我也尝试过其他配置键，例如--conf spark.driver.cores=4和--conf spark.yarn.am.cores=4 ，即使这些都不起作用。

任何指针都会有所帮助。 谢谢

Answer 1

如果您已指定此项，则您的程序使用 4 个内核。 毫无疑问。
你看错了。

所以在资源管理器页面，如果你在默认设置DefaultResourceCalculator ，它只计算 memory 使用量。
对于 vCore 使用，它始终显示 1，因为它不计算它。

如果您可以将资源管理器 class 更改为DominantResourceCalculator ，那么它将显示实际的核心使用情况。

只需将此属性添加到 yarn-site.xml 并重新启动纱线

yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

---

您还可以通过转到 Spark History 服务器 UI 来验证这个理论。

在更改任何内容之前提交 spark 作业，在 spark UI 中找到该作业。
Go 到该作业的Executors部分，您将看到 spark 使用的所有 executor 及其配置。