如何忽略Pyspark的火花提交警告

Question

当我提交我的python文件以这种方式触发时

spark-submit driver.py

它开始显示很多与python 2打印方法有关的警告。

18/10/19 01:37:52 WARN ScriptBasedMapping: Exception running /etc/hadoop/conf/topology_script.py 10.5.1.112
ExitCodeException exitCode=1:   File "/etc/hadoop/conf/topology_script.py", line 63
    print rack
             ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(rack)?

有没有办法像spark-submit driver.py -W ignore ??

>>我知道这是python2的警告，我的代码在python3中，所以我只想忽略python2警告。 这些警告甚至在控制权进入我的代码之前就开始显示。 因为spark-submit首先在加载python文件上运行，然后再运行。

Answer 1

您使用的是python 3，但使用python 2编写？

请参考此问题： “ SyntaxError：在调用'print'时缺少括号”在Python中意味着什么？

您还可以参考在Apache Spark中配置日志记录以使用log4j.properties文件设置默认日志级别。

您还可以在调用spark-submit或在代码内部使用sc.setLogLevel("WARN")

另一个SO问题供参考： 如何停止INFO消息在spark控制台上显示？

Answer 2

如果您想忽略Python警告，也许可以这样做：

import warnings
warnings.simplefilter(action='ignore', category=YourWarningCategory)