Spark Executor 以本地或独立模式登录

Question

我在本地环境中运行 spark 提交作业并调试整个过程想要查看执行程序日志。 为此，我进行了以下更改：-

1. 编辑 log4j 属性文件 - 2 个属性文件，一个用于执行程序，一个用于驱动程序

   log4j.rootCategory=DEBUG, file log4j.appender.file=org.apache.log4j.FileAppender log4j.appender.file.File=/tmp/executor-application.log log4j.appender.file.append=false log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

2-将日志详细信息添加到spark-default.conf文件中

 spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/spark-setup/conf/log4j-executor.properties
 spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/spark-setup/conf/log4j-driver.properties

当我在本地运行 spark-submit 作业时，我只看到驱动程序日志而不是执行程序日志。

spark-submit --master "local[*]" --class com.test.action.myjob test_job.jar 

我错过了什么吗？ 为什么我看不到执行程序日志？ 任何指针都会有所帮助。

谢谢

Answer 1

配置日志记录选项：

您可能需要在logback-spark-executor.xml中为执行程序配置日志记录选项。

可能为滚动执行程序日志添加设置：如果您想要滚动执行程序日志记录，您可能需要在spark-daemon-defaults.conf中添加一些配置设置。

运行时变量：注意有一些与执行器日志相关的RTE（运行时）变量可以设置。