紗線上Spark作業的應用程序執行監視

Question

我可以在Spark獨立模式下的Web UI上詳細查看應用程序執行信息，但是當涉及yarn時，它就消失了。 那么，當在紗線上運行作業時，在哪里可以看到執行信息？

Answer 1

您需要使用yarn配置火花歷史記錄服務器，然后啟動它

在您的spark-defaults.conf文件中添加以下屬性，

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://LOCATION/TO/SPARK/EVENT/LOG

spark.yarn.historyServer.address        SPARK_HISTORY_SERVER_HOST
spark.history.ui.port                   SPARK_HISTORY_SERVER_PORT

spark.yarn.services                     org.apache.spark.deploy.yarn.history.YarnHistoryService
spark.history.fs.logDirectory           hdfs://LOCATION/TO/SPARK/EVENT/LOG

然后啟動火花歷史記錄服務器：

$/PATH/TO/SPARK/sbin/start-history-server.sh

PS我假設Spark已使用hadoop / yarn配置（因此您已在spark-env.sh中設置了配置文件的位置）

Answer 2

您可以調試應用程序 ，但是我想沒有專用的UI。