强制在同一个节点 (YARN) 上托管 applicationMaster 是否可以？

Question

我正在将 Spark 应用程序提交到我的 Hadoop 3 节点集群。 在我设置的spark-defaults.conf文件中

spark.yarn.appMasterEnv.SPARK_LOCAL_IP 127.0.0.1
spark.yarn.appMasterEnv.SPARK_MASTER_HOST 0.0.0.0

这样 applicationMaster 总是（客户端或集群模式）托管在客户端机器上。 这样做可以吗？

请注意，如果我不这样做并且 Yarn 尝试在从属节点上托管 applicationMaster，则绑定错误会停止运行。

感谢您澄清这一点。

Answer 1

如果这仅适合您并且有效，那就去做吧。

您没有遵循纱线簇的“正常”火花策略。 这可以吗'？ 如果你有充分的理由，是的，没关系。

我会在生产中使用它吗？ 不。

是否有更简单更常见的集群运行方式？ 是的。

您正在混合运行 Spark Standalone 和 Yarn 的策略。 这是两种根本不同的架构。 如果你能让这两种架构一起工作，那就很有趣了。 但是您可能会遇到一些奇怪的问题，而且由于这是一组自定义设置，您可能找不到很多支持来帮助您。

Answer 2

不，这不是“好”。

spark背后的意识形态之一是弹性。 如果您强制 1 个节点成为应用程序主节点，则会引入瓶颈和单点故障。 您正在使用纱线，没有理由指定主人。