在 YARN CUSTER MODE 的本地文件中捕获 spark 执行程序日志

Question

我正在纱线集群模式下运行火花流，我想捕获日志并将其写入驱动程序本地文件中为此我创建了自定义 log4j.properties 文件，其中我提到了驱动程序的本地文件路径，但我只能在此看到驱动程序日志文件，为什么我的执行程序日志没有被捕获在这个文件中，我如何捕获执行程序日志。 我尝试了不同的方法，我的 spark-submit 命令如下：-

spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar

Answer 1

您可以发布您的 log4j.properties.I 假设您可以在执行程序节点本地目录中看到执行程序日志