如何在 spark scala 中覆盖文本文件

Question

需要用 scala spark 中的 4 列覆盖来自 dataframe 的文本文件

我尝试了以下命令

result.rdd.map(x =\> x.mkString(“\\t”)).saveAsTextFile("/user/Output")

它的工作

我想下次覆盖文件

并指定我需要在何处提及重新分区参数。

Answer 1

DataFrameWriter有方法mode来指定一个 saveMode 可以设置为overwrite和方法partitionBy在你的参数中按键分区数据。示例代码：

df.write
  .mode("overwrite")
  .partitionBy("partition_key")
  .save("/path/to/table")