使用Azure數據工廠（ADF）僅從Azure Data Lake存儲中復制最新文件

Question

我正在嘗試從azure數據湖存儲中復制數據，執行一些處理，然后使用azure數據工廠將其移動到同一數據湖中的其他文件夾中。 源數據按年，月和日組織。 我只想每天復制最新文件並繼續替換它。 如何使用ADF執行此操作？ 我看到一些有關使用切片開始和結束日期的答案，但這仍然意味着在JSON文件中提供日期。 如何自動更改這些日期？

Answer 1

假設您正在使用ADFv2。

我看到一些有關使用切片開始和結束日期的答案，但這仍然意味着在JSON文件中提供日期。 如何自動更改這些日期？

就是這樣，這是自動的。 您不必在管道中提供日期。 您對日期進行參數化，然后將管道附加到Tumbling窗口觸發器，並使用觸發器系統變量@trigger（）。outputs.windowStartTime。 因此，現在觸發器將給出日期。

然后，您可以每24小時安排一次觸發器，以便您的滾動窗口觸發器將傳遞@trigger（）。outputs.windowStartTime例如2019/02/13（您可以根據自己的datalake結構根據需要設置日期格式-可用的格式化選項在ADF中）到管道活動，並要求該活動從azuredatalake / 2019/02/13 / file.txt中讀取

按照此文檔了解一個想法。