[英]How to set pyspark logging level to debug?
谁能帮助我设置日志记录级别以调试和捕获更多日志所需的火花配置
在setLogLevel属性设置为DEBUG 。
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('test').getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")
#or
log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.DEBUG)
#for custom log
log4j.LogManager.getRootLogger().info("custom log")
#2020-05-06 13:43:42 INFO root:? - custom log
当 dictConfig 设置级别时，日志记录不显示调试级别
[英]Logging not displaying debug level when level is set by dictConfig
如何将调试级别记录到文件，但仅在python屏幕上记录信息级别
[英]how to logging debug level to file but only info level on screen in python
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.