使用 azure 数据工厂的无日期或主键列的增量加载

Question

I am having a source lets say SQL DB or an oracle database and I wanted to pull the table data to Azure SQL database. 但问题是我没有任何要插入数据的日期列或主键列。 那么有没有其他方法可以执行此操作。

Answer 1

半增量的一种方法是通过源表中相当稳定的列对表进行分区，然后您可以使用映射数据流来比较分区（可以通过行计数、聚合、哈希字节等来完成）。 每次加载时，您都会将比较 output 存储在分区元数据中的某个位置，以便下次加载时再次进行比较。 这样，您只能重新加载自上次加载以来更改的分区。