使用 azure 數據工廠的無日期或主鍵列的增量加載

Question

I am having a source lets say SQL DB or an oracle database and I wanted to pull the table data to Azure SQL database. 但問題是我沒有任何要插入數據的日期列或主鍵列。 那么有沒有其他方法可以執行此操作。

Answer 1

半增量的一種方法是通過源表中相當穩定的列對表進行分區，然后您可以使用映射數據流來比較分區（可以通過行計數、聚合、哈希字節等來完成）。 每次加載時，您都會將比較 output 存儲在分區元數據中的某個位置，以便下次加載時再次進行比較。 這樣，您只能重新加載自上次加載以來更改的分區。