從本地文件服務器到Azure Data Lake的文件增量加載

Question

我們希望使用Azure Data Factory v2將文件從本地文件服務器增量加載到Azure Data Lake。

文件應該每天存儲在本地文件服務器中，並且我們將不得不在一天中定期運行ADFv2管道，並且應該只捕獲文件夾中新的未處理文件。

Answer 1

我們的建議是將每日攝取的文件集放入/ YYYY / MM / DD目錄。 您可以參考此示例，了解如何使用系統變量（@trigger（）。scheduledTime）從相應目錄讀取文件：

https://docs.microsoft.com/zh-cn/azure/data-factory/how-to-read-write-partitioned-data

Answer 2

在源數據集中，您可以進行文件過濾，例如可以按時間（以表達語言調用datetime函數）或其他將定義新文件的方式進行過濾。 https://docs.microsoft.com/zh-cn/azure/data-factory/control-flow-expression-language-functions然后使用計划的觸發器，您可以在一天中執行n次管道。