Spark - Yarn 客戶端模式下應用程序主節點的執行程序數量

Question

題

在 Yarn 客戶端模式下，應用主（AM）需要多少個執行器？

在 Yarn集群模式下，根據How-to: Tune Your Apache Spark Jobs (Part 2) ，AM 需要 2 個執行程序。

更好的選擇是使用 --num-executors 17 --executor-cores 5 --executor-memory 19G。 為什么？

這個配置會在所有節點上產生三個執行器，除了一個帶有 AM 的執行器，它將有兩個執行器。

更新

我誤解了這篇文章。 AM 是一個 JVM，所以如果每個節點運行 3 個 JVM（執行器），那么 AM 節點可以運行 2 個執行器。 YARN 模式與 AM 進程需要多少個非執行器 JVM 無關。 始終為 1 個 JVM。

Answer 1

我的猜測是您的執行模式（集群/客戶端）在影響方面與 AM 無關。 Yarn Application Master 始終在集群上運行，並且與驅動程序/客戶端（這是唯一受您的 exec 模式影響的）解除關聯

1 -正如你在下面看到的那樣，客戶端和應用程序主是不相關的

2 - Spark 集群模式：驅動程序是驅動程序節點上的執行程序

3 - Spark 客戶端模式：驅動程序從產生 Spark 作業提交的工人/機器執行