如何列出 Databricks Azure 中的所有增量表？

Question

我在我的 delta 湖中保存了一个数据框，下面是命令：

df2.write.format("delta").mode("overwrite").partitionBy("updated_date").save("/delta/userdata/")

我也可以加载并查看 delta 湖 /userdata：

dfres=spark.read.format("delta").load("/delta/userdata")

但是在这里，我有一个疑问，比如当我将几个镶木地板文件从 blob 移动到创建数据框的 delta 湖时，那么其他人如何知道我移动了哪个文件以及他如何处理这些 delta，是否有任何命令可以列出数据块中 delta 湖中的所有数据帧？

Answer 1

将问题分解为：

1. 找到要检查的所有表的路径。 默认位置的托管表存储在spark.conf.get("spark.sql.warehouse.dir") + s"/$tableName" 。 如果您有外部表，最好使用catalog.listTables()后跟catalog.getTableMetadata(ident).location.getPath 。 任何其他路径都可以直接使用。

2. 使用DeltaTable.isDeltaTable(path)确定哪些路径属于 Delta 表。

希望这可以帮助。