[英]Creating a container in azure storage before uploading the data using ADF v2
预先感谢,我是ADF的新手,并且已经从ADF门户创建了管道。 源本地服务器文件夹和目标数据集是Azure Blob存储。 我正在使用滚动窗口,该窗口传递日期开始时间和日期结束时间,并且仅使用lastmodified datetime上传最新数据。
查询:如果我想在azure存储中动态创建子容器,请使用/ container / $ monthvariable,它会根据month变量自动创建一个子容器
这里的例子我的来源是
dfac/
$monthvariable = 5
如果我放
dfac/$monthvariable
那么所有文件都将在dfac / 5 /下上传,如下所示
dfac/5/file1
dfac/5/file2
dfac/5/file3
在ADF中,我想获取管道月份的月份并将其添加到管道中。 那是我能做的吗? 在哪里可以定义变量?
{
"name": "Destination",
"value": "dfac/$monthvariable"// does it work and is this the right way to do this stuff
}
我的实际代码如下所示。
{
"name": "Copy_ayy",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",
"retry": 2,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"userProperties": [
{
"name": "Source",
"value": "/*"
},
{
"name": "Destination",
"value": "dfac/"
}
],
"typeProperties": {
"source": {
"type": "FileSystemSource",
"recursive": true
},
"sink": {
"type": "BlobSink",
"copyBehavior": "PreserveHierarchy"
},
"enableStaging": false
},
"inputs": [
{
"referenceName": "SourceDataset_ayy",
"type": "DatasetReference",
"parameters": {
"cw_modifiedDatetimeStart": "@pipeline().parameters.windowStart",
"cw_modifiedDatetimeEnd": "@pipeline().parameters.windowEnd"
}
}
],
"outputs": [
{
"referenceName": "DestinationDataset_ayy",
"type": "DatasetReference"
}
]
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.