[英]Incremental Load without Last Modified Date and Primary Key field in Azure Data Factory
我正在尝试在 Azure 数据工厂中进行增量加载。 数据库中的大多数表都没有最后修改日期列。 我无权在表格中添加水印列。 有没有办法在没有最后修改日期和主键列的情况下进行增量加载？
我不知道我可以使用哪种方法。 请帮助我。 提前致谢。
如果您的源数据库支持本机变更数据捕获功能，那么您可以使用 ADF 映射数据流，不需要时间戳或 ID 列来识别更改，因为它使用数据库中的本机变更数据捕获技术。
如需完整演示，请参阅此公共文档： Azure Data Factory 和 Azure Synapse Analytics 中的更改数据捕获
另一种可能的方法是，如果您可以访问旧数据（以前加载到接收器的数据）和最新数据（源）并进行更改，那么您可以在 ADF 中使用映射数据流并实现散列来比较两个数据集并选择更改的数据根据您的要求。
您可以参考此演示以了解相同的实现： Data Flows: How to capture changed data
使用 azure 数据工厂的无日期或主键列的增量加载
[英]Incremental load without date or primary key column using azure data factory
如何使用 Azure 数据工厂对日期或键列执行增量加载
[英]How to perform Incremental Load with date or key column using Azure data factory
Azure 数据工厂增量加载，无需更改本地数据库
[英]Azure Data Factory Incremental Load without altering on premises database
如何在 Azure 数据工厂中列出按上次修改日期筛选的 Azure 数据湖第 2 代中的所有路径？
[英]How do I list all paths in Azure data lake gen 2 filtered by last modified date in Azure Data Factory?
Azure Synapse - 管道 - 复制数据 - 没有表的增量加载
[英]Azure Synapse - Pipelines - Copy Data - incremental load without table
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
