在 YARN CUSTER MODE 的本地文件中捕獲 spark 執行程序日志

Question

我正在紗線集群模式下運行火花流，我想捕獲日志並將其寫入驅動程序本地文件中為此我創建了自定義 log4j.properties 文件，其中我提到了驅動程序的本地文件路徑，但我只能在此看到驅動程序日志文件，為什么我的執行程序日志沒有被捕獲在這個文件中，我如何捕獲執行程序日志。 我嘗試了不同的方法，我的 spark-submit 命令如下：-

spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar

Answer 1

您可以發布您的 log4j.properties.I 假設您可以在執行程序節點本地目錄中看到執行程序日志