使用 polybase 更新 Azure SQL 数据仓库中的更改

Question

我需要有关 Azure SQL 数据仓库的帮助，我正在使用 Polybase 将数据从 Azure Data Lake Storage Gen2 到 Azure SQL DW。 当我们第一次将数据加载到 DW 时没有问题。 但是当我们再次加载数据/增量加载时，我们如何更新数据？

我们正在使用的流程

ASDL2 -> (polybase) -> 外部表 -> (CTAS) -> Staging 表 -> (transformation) -> 维度表

每次数据更改时，我们都会将数据重新加载到 ASDL2 中，
UPSERT 数据的最佳方法是什么，或者我们也应该将数据重新加载到 SQLDW 中？

Answer 1

由于 Azure 数据仓库不支持MERGE ，因此需要使用其他方式将数据从外部表加载到阶段表。 PolyBase 可用于将初始数据和增量数据加载到外部表模式，但它是您执行加载到临时表的方式。

以下是有关如何部署此解决方案的精彩教程： 使用 PolyBase 从 ADLS 更新数据仓库中的表

一旦数据通过 ADFv2 管道中的 PolyBase 加载到外部表，就会调用触发器来执行 ADWH 中的 sp 以执行到临时表的加载。