Azure ADF V2 ForEach File CopyData 從 Blob 存儲到 SQL 表

Question

我需要設計一個 ADF 管道，以將在名為“Current”的特定 Blob 存儲文件夾路徑上創建的 CSV 文件復制到 SQL 表。 成功復制后，我必須將文件移動到存檔文件夾。

我已經完成的事情： 我正在使用復制數據活動來復制 CSV 文件並加載到我的 SQL 表中。 成功后，另一個復制數據活動會將 CSV 文件從“當前”文件夾復制到“存檔”，此后我有一個刪除活動從當前文件夾中刪除文件。

問題：在一次只有一個文件的情況下這完全沒問題。 但我想重新設計它以處理多個文件導入。 我想利用 ForEach 活動。 請幫忙。

Answer 1

您需要在 for-each 之前添加一個 Get Metadata 活動。 Get Metadata 活動將獲取當前目錄中的文件並將它們傳遞給 For-Each。 將其連接到 Blob 存儲文件夾並指定文件掩碼。 活動的輸出需要是 for-each 循環的輸入。 像這樣的東西..@activity('Get Metadata').output。 順便說一下，你是如何觸發這個 ADF 管道的？ 實現此目的的另一種方法是設置事件觸發器以在該 blob 目錄中創建文件時運行此管道。 以下是對存儲容器中的文件使用 For-Each 的步驟。

1. 將獲取元數據參數設置為“子項”
2. 在您的 For-Each 中，將 Items 設置為 @activity('Get Metadata1').output.childitems

3. 在復制活動中使用的源數據集中，創建一個名為 FileName 的參數。

4. 設置文件路徑使用參數

5. 在 Copy Activity 上將 FileName 參數設置為 @item().name

要完成，您需要將水槽設置為您需要的任何位置。 那應該這樣做。