如何使用 Azure 数据工厂将新文件或更新文件从 Azure 数据湖推送到文件夹

Question

我可以使用 Azure 数据湖中的复制工具将数据推送到使用 Azure 数据工厂的本地文件夹。

但我只想将更新或新文件从 Azure 数据湖推送到文件夹（我的意思是只有增量拉取）。

我尝试使用参数选项但无法提供参数。 你们中的任何人都可以建议如何实现这一目标。

Answer 1

我只想将 Azure 数据湖中的更新或新文件推送到文件夹（我的意思是只有增量拉取）。

根据您的描述，您希望在 ADLS 源中实现增量加载。实际上，这是通过文件的 LastModifiedDate 属性实现的。

您可以按计划执行管道，以便定期加载新文件。更多详细信息，请参阅以下链接：

1. https://azure.microsoft.com/en-us/blog/incrementally-copy-new-files-by-lastmodifieddate-with-azure-data-factory/

2. https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview#loading-new-and-changed-files-only-by-using-lastmodifieddate