在纱线群集上执行Spark-Submit时看不到纱线作业

Question

我正在通过以下命令将spark-submit用于我的工作：

spark-submit script_test.py-主纱线-部署模式集群spark-submit script_test.py-主纱线-集群-部署模式集群

这项工作进展顺利。 我可以在Spark History Server UI下看到它。 但是，我在RessourceManager UI（YARN）下看不到它。

我感觉我的工作没有发送到集群，但仅在一个节点上运行。 但是，我发现使用Spark-submit命令的方式没有错。

我错了吗？ 我该如何检查？ 还是将作业发送到纱线簇？

Answer 1

使用--master yarn意味着在某些地方已用宿主，端口等配置了纱线站点。 也许您正在使用spark-submit的机器不知道纱线主控器在哪里。

您可以检查您的hadoop / yarn / spark配置文件，特别是yarn-site.xml，以检查资源管理器的主机是否正确。

这些文件位于不同的文件夹中，具体取决于您使用的Hadoop发行版。 在HDP中，我猜它们在/etc/hadoop/conf

希望能帮助到你。