[英]Incremental Load without Last Modified Date and Primary Key field in Azure Data Factory
我正在嘗試在 Azure 數據工廠中進行增量加載。 數據庫中的大多數表都沒有最后修改日期列。 我無權在表格中添加水印列。 有沒有辦法在沒有最后修改日期和主鍵列的情況下進行增量加載？
我不知道我可以使用哪種方法。 請幫助我。 提前致謝。
如果您的源數據庫支持本機變更數據捕獲功能，那么您可以使用 ADF 映射數據流，不需要時間戳或 ID 列來識別更改，因為它使用數據庫中的本機變更數據捕獲技術。
如需完整演示，請參閱此公共文檔： Azure Data Factory 和 Azure Synapse Analytics 中的更改數據捕獲
另一種可能的方法是，如果您可以訪問舊數據（以前加載到接收器的數據）和最新數據（源）並進行更改，那么您可以在 ADF 中使用映射數據流並實現散列來比較兩個數據集並選擇更改的數據根據您的要求。
您可以參考此演示以了解相同的實現： Data Flows: How to capture changed data
使用 azure 數據工廠的無日期或主鍵列的增量加載
[英]Incremental load without date or primary key column using azure data factory
如何使用 Azure 數據工廠對日期或鍵列執行增量加載
[英]How to perform Incremental Load with date or key column using Azure data factory
Azure 數據工廠增量加載，無需更改本地數據庫
[英]Azure Data Factory Incremental Load without altering on premises database
如何在 Azure 數據工廠中列出按上次修改日期篩選的 Azure 數據湖第 2 代中的所有路徑？
[英]How do I list all paths in Azure data lake gen 2 filtered by last modified date in Azure Data Factory?
Azure Synapse - 管道 - 復制數據 - 沒有表的增量加載
[英]Azure Synapse - Pipelines - Copy Data - incremental load without table
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
