[英]Azure Data Factory: Dynamic path value for the Storage Event Trigger
我创建了一个 azure 数据工厂管道,使用复制数据活动将数据从一个 adls 容器复制到另一个 adls 容器。 此复制活动将使用存储事件触发器触发。
因此,无论何时生成新文件,它都会触发该活动。
源文件位于一个嵌套的目录结构中,该目录结构具有动态文件夹,例如年、月和日,这些文件夹随日期而变化。
在触发器中,我提到了固定文件夹路径之前的路径,但我不知道应该为动态路径设置什么值。
最初,我提供了诸如my/fixed/directory/*/*/*/
之类的路径,
但在执行时,它会抛出异常“PathNotFound”。
blob path begins with
或blob path ends with
为不支持通配符。input/folder/2022
是我的固定目录(输入是容器名称)。 我还在下面显示的每个文件夹中都有子文件夹。 folder path: @replace(dataset().folder_name,'input/','')
file name: @dataset().file_name
data
的不同容器:folder path: @concat('output/',replace(dataset().folder,'input/folder/',''))
file name: @dataset().file
folderName
和fileName
的值将在创建触发器时设置,如下所示:fileName : @triggerBody().fileName
folderName : @triggerBody().folderPath
folder/2022
中的任何文件夹,管道就会被触发。folder/2022/03/01/sample1.csv
。 这成功触发了管道。 因此,仅为父目录创建存储事件触发器就足以触发上传到子目录的任何文件的管道。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.