LOG4J 日志記錄不適用於 Spark 紗線集群模式

Question

我已經構建了一個 pyspark 應用程序並使用 log4j 進行日志記錄。

問題是當我在紗線客戶端模式下運行 spark 應用程序時，日志正在發生，但是當我在紗線集群模式下運行應用程序時，它沒有。

我也希望在集群模式下打印日志消息並將其保存為文件。

已經試過了

Spark-submit —-files option
and setting spark.executor.extrajavaoptions and spark.driver.extrajavaoptions.

My log4j.properties

log4j.rootCategory=INFO,FILE
log4j.appender.FILE=org.apache.log4j.RollingFileAppender


log4j.appender.FILE.File=/some/path/to/edgeNode/SparkDriver.log

log4j.appender.FILE.Append=false
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Answer 1

當您希望提供自定義 log4j 文件時，請通過在 spark-submit 命令中提供它來實現。 這是因為一旦 spark 啟動，它自己的 log4j 文件優先於其他 log4j 配置。 提供您的 log4j 文件作為driver.java.options標志的一部分。 如果您以集群模式而不是客戶端運行您的作業，請提及spark.executors.extraJavaOptions 中的 log4j 文件。 請記住，應該寫入日志的位置必須可由驅動程序節點以及您的計算節點訪問。