強制在同一個節點 (YARN) 上托管 applicationMaster 是否可以？

Question

我正在將 Spark 應用程序提交到我的 Hadoop 3 節點集群。 在我設置的spark-defaults.conf文件中

spark.yarn.appMasterEnv.SPARK_LOCAL_IP 127.0.0.1
spark.yarn.appMasterEnv.SPARK_MASTER_HOST 0.0.0.0

這樣 applicationMaster 總是（客戶端或集群模式）托管在客戶端機器上。 這樣做可以嗎？

請注意，如果我不這樣做並且 Yarn 嘗試在從屬節點上托管 applicationMaster，則綁定錯誤會停止運行。

感謝您澄清這一點。

Answer 1

如果這僅適合您並且有效，那就去做吧。

您沒有遵循紗線簇的“正常”火花策略。 這可以嗎'？ 如果你有充分的理由，是的，沒關系。

我會在生產中使用它嗎？ 不。

是否有更簡單更常見的集群運行方式？ 是的。

您正在混合運行 Spark Standalone 和 Yarn 的策略。 這是兩種根本不同的架構。 如果你能讓這兩種架構一起工作，那就很有趣了。 但是您可能會遇到一些奇怪的問題，而且由於這是一組自定義設置，您可能找不到很多支持來幫助您。

Answer 2

不，這不是“好”。

spark背后的意識形態之一是彈性。 如果您強制 1 個節點成為應用程序主節點，則會引入瓶頸和單點故障。 您正在使用紗線，沒有理由指定主人。