如何使用Apache Spark將日志寫入文件

Question

我正在做一個Maven項目。 Apache Spark具有自己的log4j功能。 有沒有一種方法可以將Apache Spark日志和自己的日志語句寫入文件？

Answer 1

與其他Java應用程序一樣，您需要在classpath中使用jars，並且需要一個log4j配置文件。

[1]在類路徑中的罐子

Spark已經在其jars文件夾（位於$SPARK_HOME ）中附帶了以下兩個$SPARK_HOME ：

slf4j-api-1.7.16.jar 
slf4j-log4j12-1.7.16.jar

因此，您只需要在pom中添加一個“ provid”，即可對其進行編譯：

<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.16</version>
    <scope>provided</scope>
</dependency>

請注意，不同版本的slf可能附帶有不同版本的Spark，因此請在[jars]文件夾中查看以將正確版本與您使用的Spark匹配。

[2]一個log4j配置文件

• 轉到spark主頁目錄下的conf文件夾。
• 將此文件log4j.properties.template重命名為log4j.properties
• 添加您的配置

現在，您可以在代碼中添加log.debug 。

請注意，代碼可能在驅動程序或執行程序上運行，因此日志將在不同的計算機上運行，​​具體取決於運行的位置。