[英]How to identify and copy the most recently added files in Azure Data Factory when there are multiple sub-folders?
DF 中的文件夾結構是這樣的：
父文件夾/子文件夾1/子文件夾12/子文件夾13/文件1 父文件夾/子文件夾2/子文件夾22/子文件夾23/文件2 父文件夾/子文件夾3/子文件夾32/子文件夾33/文件3
目標是創建一個管道，該管道可以識別最近添加到父文件夾下的文件，並僅復制該文件並移動到接收器。 這可能需要多個嵌套管道和 foreach 循環，但我無法找到解決方案。
為了從文件夾中復制最后修改的文件，您可以按照此線程中描述的步驟 - ADF：復制最后修改的 blob
如果您在父文件夾下有多個子文件夾，並且您想從每個子文件夾復制最新文件，那么您將必須使用父管道，在該管道中您使用 GetMetaData 活動來獲取子文件夾列表，然后將 output 傳遞給隨后的 ForEach 活動遍歷子文件夾名稱列表，然后在 ForEach 活動內部有一個 Execute 管道活動，它將執行 復制每個子文件夾的最后修改的管道。
下面的 GIF 只是從文件夾中復制最后修改的文件：
該主題也在此處討論： https://docs.microsoft.com/answers/questions/379892/index.html
Azure數據工廠 - 從FTP服務器復制多個父文件夾中的特定文件
[英]Azure Data Factory- Copy specific files from multiple Parent folders from FTP Server
根據Azure數據工廠中的文件名將文件從一個文件夾復制到多個文件夾
[英]Copy Files from a folder to multiple folders based on the file name in Azure Data Factory
從子文件夾復制所有文件，將相同的結構移動到存檔文件夾並從 Azure 數據工廠中的源刪除
[英]Copy all files from sub folders, move the same structure to archive folder and delete from source in Azure Data Factory
如何從 ADLS 中的子文件夾讀取 json 文件並通過 Azure 數據工廠將它們引入 ADX
[英]How to read json files from sub folders in ADLS and ingest them into ADX through Azure data factory
如何使用天藍色數據工廠復制特定目錄中的所有文件和文件夾
[英]How to copy all files and folders in specific directory using azure data factory
如何將文件從多個源文件夾復制到 azure 數據湖存儲第 2 代中的目標文件夾
[英]How to copy files from multiple source folders to target folders in azure data lake storage gen 2
C# 在以日期命名的多個子文件夾中獲取具有多個通配符的文件
[英]C# get files with multiple wildcard within multiple sub-folders named after dates
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
