Azure 數據工廠僅從 Blob 存儲復制數據新添加的文件

Question

我想創建一個帶有Copy Data的管道（將 JSON 源映射到 MySQL 列）。 目前它正在工作，但該工具正在'created' trigger之后從我的源容器中復制all the files 。 是否可以在我的容器中只檢索“新添加”文件，所以我在 MySQL 中沒有雙重數據？

當前情況示例：

first copy -> retrieve file 1
(added new file)
second copy -> retrieve file 1 + file 2

示例預期情況：

first copy -> retrieve file 1
(added new file)
second copy -> retrieve file 2

Answer 1

這實際上是一個非常常用的場景，您應該使用 LastModifiedDate 來復制最近添加的文件並防止重復。

請檢查此鏈接： https ://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview