[英]Copy Files from a folder to multiple folders based on the file name in Azure Data Factory
[英]Azure Data Factory- Copy specific files from multiple Parent folders from FTP Server
我试图将.ZIP文件从FTP服务器复制到Azure DataLake。 我需要从特定的父文件夹中复制特定文件(总共我在FTP中有6个父文件夹),并且需要安排此管道。 那么我应该如何提供参数,以便管道应该只选择不同文件夹中的特定文件?
我已经使用了元数据活动并试图创建管道,但不知道如何提供管道来只选择特定的文件!
Azure Data Factory支持在复制期间压缩/解压缩数据。 在输入数据集中指定压缩属性时,复制活动从源读取压缩数据并解压缩; 当您在输出数据集中指定属性时,复制活动压缩然后将数据写入接收器。
例如:
从FTP服务器读取.zip文件,解压缩以获取文件,并将这些文件放在Azure Data Lake Store中。 您将压缩类型属性定义为ZipDeflate的输入FTP数据集。
有关详细信息,请参阅: 压缩支持 。
以下是使用Azure Data Factory从FTP服务器复制数据的教程。
其他格式数据集要以ORC / Avro / JSON /二进制格式从FTP复制数据,此链接支持以下属性: 其他格式数据集 。
提示:
希望这可以帮助。
您需要使用过滤器活动来仅过滤所需的文件夹/文件。 我想你需要2个循环:
循环1:获取文件夹的元数据 - >过滤所需的文件夹 - >带循环2的foreach管道循环2:获取文件文件的元数据 - >过滤所需文件 - >复制所需文件
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.