火花使用log4j登錄到HDFS

Question

我有一個Spark應用程序，有沒有一種方法可以使用log4j來登錄到HDFS而無需水槽附加器？ （我不是專家，但是由於不必使用Flume進行大量日志記錄，似乎有點過頭了）

歡迎提出建議

Answer 1

因此，關鍵是該日志已經由紗線聚合器保存在HDFS中，您可以讓它們執行

yarn logs --applicationId application_1441635924531_0065 | less

啟動spark-submit時shell上出現applicationId編號的位置。