獲取文件夾 [Azure Data Factory] ​​中最新添加的文件

Question

在數據湖里面，我們有一個文件夾，里面基本上每天都有外部源推送的文件。 但是，我們只想處理該文件夾中最新添加的文件。 有沒有辦法通過 Azure 數據工廠實現這一目標？

Answer 1

當您在復制活動中使用 ADLS 連接器時，您可以設置modifiedDatetimeStart 和 modifiedDatetimeEnd來過濾文件夾中的文件。

可能有兩種情況：

1.數據是由在日程安排外源推，你假設知道計划時間進行配置。

2.頻率是隨機的，那么可能你必須在另一個住所記錄推送數據的時間，然后在執行之前將時間作為參數傳遞給復制活動管道。

---

我嘗試在 ADF 管道中為您提供如下流程：

我在同一文件夾中的示例文件：

Step1，創建兩個變量，maxtime和filename：

maxtime 是特定日期的關鍵日期時間，filename 為空字符串。

Step2，使用GetMetadata Activity和ForEach Activity獲取文件夾下的文件。

GetMetadata 1 配置：

ForEach Activity 配置：

Step3：在ForEach Activity內部，使用GetMetadata和If-Condition，結構如下：

GetMetadata 2 配置：

If-Condition 活動配置：

步驟 4：在 If-Condition True 分支中，使用 Set Variable Activity：

設置 variable1 配置：

設置 variable2 配置：

以上所有步驟旨在找到最新的文件名，變量文件名正是目標。

---

在 GetMetadata 2 中添加另一個新數據集

Answer 2

您可以使用修改日期時間開始和修改日期時間結束字段，如下面的屏幕截圖所示。

此處的示例顯示從當前日期時間起 24 小時內獲取文件。