纱线上Spark作业的应用程序执行监视

Question

我可以在Spark独立模式下的Web UI上详细查看应用程序执行信息，但是当涉及yarn时，它就消失了。 那么，当在纱线上运行作业时，在哪里可以看到执行信息？

Answer 1

您需要使用yarn配置火花历史记录服务器，然后启动它

在您的spark-defaults.conf文件中添加以下属性，

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://LOCATION/TO/SPARK/EVENT/LOG

spark.yarn.historyServer.address        SPARK_HISTORY_SERVER_HOST
spark.history.ui.port                   SPARK_HISTORY_SERVER_PORT

spark.yarn.services                     org.apache.spark.deploy.yarn.history.YarnHistoryService
spark.history.fs.logDirectory           hdfs://LOCATION/TO/SPARK/EVENT/LOG

然后启动火花历史记录服务器：

$/PATH/TO/SPARK/sbin/start-history-server.sh

PS我假设Spark已使用hadoop / yarn配置（因此您已在spark-env.sh中设置了配置文件的位置）

Answer 2

您可以调试应用程序 ，但是我想没有专用的UI。