spark scala dataframe 写入器插入到覆盖

Question

我正在尝试将 dataframe 的内容写入现有的分区托管 Hive 表，如下所示：

outputDF.write.mode("Overwrite").insertInto(targetTable)

目标表是 ORC，我希望保留它。 使用 saveAsTable 会将表删除并重新创建为镶木地板（请参阅此处： saveAsTable 和 insertInto 在不同的 SaveMode(s) 中有什么区别？ ）。

问题是对于我的一些表，我需要覆盖整个表数据（类似于截断），而不仅仅是特定分区。

我不清楚在这种情况下是否支持覆盖，如果是，我做错了什么。 SparkSession 设置以下配置值：

.config("spark.sql.sources.partitionOverwriteMode", "static"/"dynamic")
.config("hive.exec.dynamic.partition", "true")
.config("hive.exec.dynamic.partition.mode", "nonstrict")

我错过了什么吗？

另外，我怀疑这可以通过 SQL API 来实现，但我试图避免它。

标清_

Answer 1

// 1. 
outputDF.write.format("parquet").mode("overwrite").saveAsTable(targetTable)
// 2. 
import org.apache.spark.sql.{SaveMode}
outputDF
 .write
 .format("parquet")
 .mode(SaveMode.Overwrite)
 .saveAsTable(targetTable)