Spark Master中的Spark提交本地模式

Question

我对未提交明确解决方案的火花提交有疑问。 我很清楚在本地计算机上以master为local [ ]来运行spark-submit 将在本地模式下运行它，但是如果我在网关节点或主节点本身中与local [ ] 运行相同的master，该怎么办 。 我的应用程序消耗了整个群集还是在该特定计算机上仍在本地模式下运行。 谢谢

Answer 1

如果我在网关节点或主节点本身中与local []运行相同的主节点，该怎么办？ 我的应用程序消耗了整个群集还是在该特定计算机上仍在本地模式下运行。

答：该特定机器（网关节点或主节点）中的本地模式。 因为您没有使用yarn为主。 只需对此进行样本测试即可证明这一点。

有关更多详细信息，请在此处查看我的答案

另一种查看方式是spark ui ..在“环境”选项卡中，它将显示有关其运行位置的详细信息...请参阅截屏。

Answer 2

在这种情况下，它将使用网关节点或主节点的资源。 仅当master中提到任何集群管理器（例如YARN ， Mesos等）时，集群才起作用。