在紗線群集上執行Spark-Submit時看不到紗線作業

Question

我正在通過以下命令將spark-submit用於我的工作：

spark-submit script_test.py-主紗線-部署模式集群spark-submit script_test.py-主紗線-集群-部署模式集群

這項工作進展順利。 我可以在Spark History Server UI下看到它。 但是，我在RessourceManager UI（YARN）下看不到它。

我感覺我的工作沒有發送到集群，但僅在一個節點上運行。 但是，我發現使用Spark-submit命令的方式沒有錯。

我錯了嗎？ 我該如何檢查？ 還是將作業發送到紗線簇？

Answer 1

使用--master yarn意味着在某些地方已用宿主，端口等配置了紗線站點。 也許您正在使用spark-submit的機器不知道紗線主控器在哪里。

您可以檢查您的hadoop / yarn / spark配置文件，特別是yarn-site.xml，以檢查資源管理器的主機是否正確。

這些文件位於不同的文件夾中，具體取決於您使用的Hadoop發行版。 在HDP中，我猜它們在/etc/hadoop/conf

希望能幫助到你。