Yarn 是否根据我们在 spark-submit 命令中传递的 executor 数量为 application master 分配一个容器

Question

假设我正在以 yarn-client 模式提交 Spark 应用程序。 在 Spark submit 中，我将 --num-executors 传递为 10。当客户端将此 spark 应用程序提交到 resourceManager 时，

资源管理器是否从 --num-executors(10) 为应用程序主进程分配一个执行器容器，并且将为实际执行器提供 rest 9？

或者

它是为 application master 分配一个新的容器还是为 executor 单独分配 10 个容器？

Answer 1

--num-executors是从集群管理器（也可能是 Hadoop YARN）请求执行器的数量。 这是 Spark 的要求。

（YARN 应用程序的）应用程序主机只是 YARN 的一个东西。

Spark 应用程序也可能是 YARN 应用程序。 在这种情况下，Spark 应用程序为 AM 获得 10 个容器和一个额外的容器。