獨立集群中Spark應用程序的Spark驅動程序節點和輔助節點

Question

我想了解提交Spark應用程序時哪個節點將充當驅動程序節點，哪個節點將成為工作程序節點？

例如，如果我有3個節點的獨立群集。

提交Spark首個應用程序（app1）時，Spark框架將隨機選擇一個節點作為驅動程序節點，將其他節點選擇為工作程序節點。 這僅適用於app1。 在執行期間，如果提交了另一個spark應用程序（app2），spark可以隨機選擇一個節點作為驅動程序節點，其他節點作為工作程序節點。 這僅適用於app2。 因此，當兩個spark應用程序都在執行時，可能會出現兩個不同的節點可能是主節點的情況。 如果誤會，請糾正我。

Answer 1

您走在正確的軌道上。 Spark具有用於計算的Worker節點的概念。 每個此類工作程序可以在其上運行N個執行程序進程。 如果Spark分配了要在任意Worker上運行的驅動程序，這並不意味着Worker不能運行其他運行計算的Executor進程。

就您的示例而言，Spark不會選擇“主”節點。 主節點固定在環境中。 它選擇的是在哪里運行驅動程序 ， SparkContext將在應用程序的整個生命周期內運行。 基本上，如果您交換Master和Driver，您的答案是正確的。