在Scala中使用Apache Spark在S3中写入镶木地板文件时出错

Question

我正在使用数据块来运行我的Spark集群（按需/ Spark 1.6.0（Hadoop 1）），并使用一个scala笔记本。

我尝试用scala在我的S3存储桶中创建一个实木复合地板文件的第一时间抛出此错误：

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

但是，当我检查存储桶中的文件时，如果我再次运行具有相同代码的单元，就可以正常工作，看来第一次运行总是会失败。

这是我的代码：

data_frame.write.mode("append").partitionBy("date").parquet("s3n://...")

Answer 1

在评论中解决：

这不是一个例外，它与log4j的配置有关。 这不应该是问题。 – Yuval Itzchakov