使用log4j.xml配置Spark日志记录

Question

我猜这是一个愚蠢的问题，但我在任何地方都找不到答案。

我可以使用log4j.xml配置登录spark吗？

在spark 文档中提到的您可以使用log4j.properties配置日志记录，我希望将log4j.xml用于更高级的log4j功能，例如异步附加程序。 我的工作将在通过oozie安排的纱线（CDH）上以群集模式运行。 我知道在使用--files任何解决方案中的--files

Answer 1

您可以设置spark.executor.extraJavaOptions添加-Dlog4j.configuration=log4j.xml并将log4j.xml文件包括在worker的类路径中（捆绑在应用程序jar中或添加到--files包含的文件中） 。