[英]Data in delta table is not changing with overwriting option?
我正在使用外部位置的 dataframe 顶部创建一个增量表。 我试图覆盖增量表,但增量表中的数据正在被覆盖,但增量湖 gen2 中带下划线的数据没有改变。 如何用数据覆盖增量表。 下面是我使用的代码。
val tbl_snapshot_view=spark.read.format("parquet").option("header","true").load(s"${SourcePath}/tbl_snapshot")
在 datalake gen2 中创建增量表
create table if not exists externaltables.tbl_snapshot(
id String,
typ_id String,
credttm String,
cdts String,
date String
)
using delta
location '/mnt/Storage/Silver/tbl_snapshot'
将数据写入增量表
tbl_snapshot_view.write.mode("overwrite").format("delta").saveAsTable(s"externaltables.tbl_snapshot")
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.