Azure 数据工厂仅从 Blob 存储复制数据新添加的文件

Question

我想创建一个带有Copy Data的管道（将 JSON 源映射到 MySQL 列）。 目前它正在工作，但该工具正在'created' trigger之后从我的源容器中复制all the files 。 是否可以在我的容器中只检索“新添加”文件，所以我在 MySQL 中没有双重数据？

当前情况示例：

first copy -> retrieve file 1
(added new file)
second copy -> retrieve file 1 + file 2

示例预期情况：

first copy -> retrieve file 1
(added new file)
second copy -> retrieve file 2

Answer 1

这实际上是一个非常常用的场景，您应该使用 LastModifiedDate 来复制最近添加的文件并防止重复。

请检查此链接： https ://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview