如何在YARN集群中的特定節點上啟動Spark的ApplicationMaster？

Question

我有一個YARN集群，其中一個主節點運行資源管理器和另外兩個節點。 我能夠以“紗線群集”模式從客戶端機器提交火花應用程序。 有沒有辦法可以配置集群中的哪個節點啟動Spark應用程序主服務器？

我問這個是因為如果應用程序主服務器在主節點中啟動它工作正常，但如果它在其他節點啟動我得到這個：

重試連接到服務器：0.0.0.0/0.0.0.0:8030 。

而這項工作只是被接受而且從不運行

Answer 1

如果您使用的是足夠新版本的YARN（2.6或更新版本，根據Spark文檔 ），您可以在YARN中使用節點標簽 。

本Hortonworks指南介紹了如何將節點標簽應用於YARN NodeManagers 。

如果您使用Spark 1.6或更高版本，則此JIRA添加了對在Spark中使用YARN節點標簽的支持; 然后，您只需傳遞spark.yarn.am.nodeLabelExpression以限制AppMaster節點放置，如果需要，可以使用spark.yarn.executor.nodeLabelExpression進行執行程序放置。