Spark - Yarn 客户端模式下应用程序主节点的执行程序数量

Question

题

在 Yarn 客户端模式下，应用主（AM）需要多少个执行器？

在 Yarn集群模式下，根据How-to: Tune Your Apache Spark Jobs (Part 2) ，AM 需要 2 个执行程序。

更好的选择是使用 --num-executors 17 --executor-cores 5 --executor-memory 19G。 为什么？

这个配置会在所有节点上产生三个执行器，除了一个带有 AM 的执行器，它将有两个执行器。

更新

我误解了这篇文章。 AM 是一个 JVM，所以如果每个节点运行 3 个 JVM（执行器），那么 AM 节点可以运行 2 个执行器。 YARN 模式与 AM 进程需要多少个非执行器 JVM 无关。 始终为 1 个 JVM。

Answer 1

我的猜测是您的执行模式（集群/客户端）在影响方面与 AM 无关。 Yarn Application Master 始终在集群上运行，并且与驱动程序/客户端（这是唯一受您的 exec 模式影响的）解除关联

1 -正如你在下面看到的那样，客户端和应用程序主是不相关的

2 - Spark 集群模式：驱动程序是驱动程序节点上的执行程序

3 - Spark 客户端模式：驱动程序从产生 Spark 作业提交的工人/机器执行