如何在 spark scala 中覆蓋文本文件

Question

需要用 scala spark 中的 4 列覆蓋來自 dataframe 的文本文件

我嘗試了以下命令

result.rdd.map(x =\> x.mkString(“\\t”)).saveAsTextFile("/user/Output")

它的工作

我想下次覆蓋文件

並指定我需要在何處提及重新分區參數。

Answer 1

DataFrameWriter有方法mode來指定一個 saveMode 可以設置為overwrite和方法partitionBy在你的參數中按鍵分區數據。示例代碼：

df.write
  .mode("overwrite")
  .partitionBy("partition_key")
  .save("/path/to/table")