databricks 中的 delta 湖 - stream 的最后半小时的一致“视图”

Question

我已经从 spark 结构化流（kafka 源）一致地更新了表这样写（在 eachBatch 中）

parsedDf \
        .select("somefield", "anotherField",'partition', 'offset') \
        .write \
        .format("delta") \
        .mode("append") \
        .option("mergeSchema", "true") \
        .save(f"/mnt/defaultDatalake/{append_table_name}")

我需要在此表上快速查看“最近半小时内插入的项目”如何实现？ 我可以从这张表中获得一个 readStream，但我缺少的是如何只保留 stream 的“尾巴”

Databricks 7.5 火花 3。

Answer 1

鉴于 Delta Lake 没有物化视图，并且 Delta Lake 时间旅行不相关，因为您需要最新数据：

• 您可以加载数据并包含插入时不需要查找的键。

• 预填充时间维度以加入您的数据。 将其视为一分钟的维度。

• 加入这个维度的数据，依靠动态文件剪枝。 因此，您需要每 30 分钟查询一次，滚动 window 并在查询中设置这些值。

• 请参阅https://databricks.com/blog/2020/04/30/faster-sql-queries-on-delta-lake-with-dynamic-file-pruning.html#:~:text=Dynamic%20File%20Pruning% 20(DFP)%2C%20a%20new%20feature%20now%20enabled,queries%20on%20non%2Dpartitioned%20tables 。