独立集群中Spark应用程序的Spark驱动程序节点和辅助节点

Question

我想了解提交Spark应用程序时哪个节点将充当驱动程序节点，哪个节点将成为工作程序节点？

例如，如果我有3个节点的独立群集。

提交Spark首个应用程序（app1）时，Spark框架将随机选择一个节点作为驱动程序节点，将其他节点选择为工作程序节点。 这仅适用于app1。 在执行期间，如果提交了另一个spark应用程序（app2），spark可以随机选择一个节点作为驱动程序节点，其他节点作为工作程序节点。 这仅适用于app2。 因此，当两个spark应用程序都在执行时，可能会出现两个不同的节点可能是主节点的情况。 如果误会，请纠正我。

Answer 1

您走在正确的轨道上。 Spark具有用于计算的Worker节点的概念。 每个此类工作程序可以在其上运行N个执行程序进程。 如果Spark分配了要在任意Worker上运行的驱动程序，这并不意味着Worker不能运行其他运行计算的Executor进程。

就您的示例而言，Spark不会选择“主”节点。 主节点固定在环境中。 它选择的是在哪里运行驱动程序 ， SparkContext将在应用程序的整个生命周期内运行。 基本上，如果您交换Master和Driver，您的答案是正确的。