繁体   English   中英

增量表中的数据不会随着覆盖选项而改变?

[英]Data in delta table is not changing with overwriting option?

我正在使用外部位置的 dataframe 顶部创建一个增量表。 我试图覆盖增量表,但增量表中的数据正在被覆盖,但增量湖 gen2 中带下划线的数据没有改变。 如何用数据覆盖增量表。 下面是我使用的代码。

val tbl_snapshot_view=spark.read.format("parquet").option("header","true").load(s"${SourcePath}/tbl_snapshot")

在 datalake gen2 中创建增量表

create table if not exists externaltables.tbl_snapshot(
id String,
typ_id String,
credttm String,
cdts String,
date String
)
using delta
location '/mnt/Storage/Silver/tbl_snapshot'

将数据写入增量表

tbl_snapshot_view.write.mode("overwrite").format("delta").saveAsTable(s"externaltables.tbl_snapshot")

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM