使用 python 在 Databricks 中截断增量表

Question

此处针对 Python 和 SQL 给出了增量表删除操作。 此处给出了使用 SQL 进行截断。 但找不到 Python 截断表的文档。 如何为 Databricks 中的增量表执行此操作？

Answer 1

对于 Python 或 Java/Scala，并非所有内容都公开为 function。 有些操作是仅限 SQL 的，例如OPTIMIZE 。 如果要截断表，有两种选择：

1. 利用

spark.sql("TRUNCATE TABLE <name>")

或者

spark.sql("TRUNCATE TABLE delta.`<path>`")

2. 在覆盖模式下使用读 + 写空 dataframe 模拟截断：

df = spark.read.format("delta").load("<path>")
df.limit(0).write.mode("overwrite").format("delta").save("<path>")

Answer 2

query = "TRUNCATE TABLE <name>"

sqlContext.sql(query)