Databricks Delta Live Table - 如何简单地将 Append 批处理源添加到 DLT 表？

Question

使用 Python 和 Databricks 中的所有相关 DLT 属性，有谁知道如何从批处理源将 append 简化为 DLT 表？

In PySpark you can just use df.write.format("delta").mode("append") but since dlt requires you to return a Spark dataframe within its decorator, we can't use the Dataframe Writer API.

提前致谢。

Answer 1

Delta Live Tables 有一个流式实时表的概念，默认情况下它是仅附加的。 您可以将管道定义为已触发，这将等效于Trigger.Once 。 像这样的东西：

@dlt.table
def append_only():
  return spark.readStream.format("xyz").load()

在这里，我们使用readStream只是为了确保当我们再次运行管道时，我们不会一次又一次地 append 相同的内容。