Spark應用程序崩潰后如何在紗線中保留Spark執行程序日志

Question

我試圖找到生產中最近Spark應用程序失敗的根本原因。 當Spark應用程序運行時，我可以檢查NodeManager的yarn.nodemanager.log-dir屬性以獲取Spark執行程序容器日志。

該容器具有兩個正在運行的Spark應用程序的日志

這是容器日志的視圖：drwx--x --- 3根紗線51 Jul 19 09:04 application_1467068598418_0209 drwx--x --- 5根紗線141 Jul 19 09:04 application_1467068598418_0210

但是，當應用程序被殺死時，兩個應用程序日志都會被自動刪除。 我已經將Yarn中的所有日志保留設置等設置為非常大的數量。 但是，一旦Spark應用程序崩潰，這些日志仍然會被刪除。

問題：當由於某些原因導致Spark應用程序崩潰時，如何將這些Spark應用程序日志保留在Yarn中進行調試。

Answer 1

以下位置具有執行程序日志。

HADOOP_USER_NAME=mapred hadoop fs -ls /hadoop/log/yarn/user/USER/logs/APPLICATION_ID

另外，設置以下屬性：

"yarn.log-aggregation-enable","false"
"spark.eventLog.enabled", "true"    
"spark.eventLog.dir","hdfs:///user/spark/applicationHistory"