繁体   English   中英

使用ADF v2上载数据之前,请在azure存储中创建一个容器

[英]Creating a container in azure storage before uploading the data using ADF v2

预先感谢,我是ADF的新手,并且已经从ADF门户创建了管道。 源本地服务器文件夹和目标数据集是Azure Blob存储。 我正在使用滚动窗口,该窗口传递日期开始时间和日期结束时间,并且仅使用lastmodified datetime上传最新数据。

查询:如果我想在azure存储中动态创建子容器,请使用/ container / $ monthvariable,它会根据month变量自动创建一个子容器

这里的例子我的来源是

dfac/
$monthvariable = 5

如果我放

dfac/$monthvariable

那么所有文件都将在dfac / 5 /下上传,如下所示

dfac/5/file1
dfac/5/file2
dfac/5/file3

在ADF中,我想获取管道月份的月份并将其添加到管道中。 那是我能做的吗? 在哪里可以定义变量?

  {
            "name": "Destination",
            "value": "dfac/$monthvariable"// does it work and is this the right way to do this stuff
        }

我的实际代码如下所示。

{
    "name": "Copy_ayy",
    "type": "Copy",
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 2,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [
        {
            "name": "Source",
            "value": "/*"
        },
        {
            "name": "Destination",
            "value": "dfac/"
        }
    ],
    "typeProperties": {
        "source": {
            "type": "FileSystemSource",
            "recursive": true
        },
        "sink": {
            "type": "BlobSink",
            "copyBehavior": "PreserveHierarchy"
        },
        "enableStaging": false
    },
    "inputs": [
        {
            "referenceName": "SourceDataset_ayy",
            "type": "DatasetReference",
            "parameters": {
                "cw_modifiedDatetimeStart": "@pipeline().parameters.windowStart",
                "cw_modifiedDatetimeEnd": "@pipeline().parameters.windowEnd"
            }
        }
    ],
    "outputs": [
        {
            "referenceName": "DestinationDataset_ayy",
            "type": "DatasetReference"
        }
    ]
}

我相信您正在使用复制数据工具。 然后,您也可以将其用于目标路径部分。 这将帮助您创建参数。 在此处输入图片说明

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM