繁体   English   中英

Azure数据工厂 - 从FTP服务器复制多个父文件夹中的特定文件

[英]Azure Data Factory- Copy specific files from multiple Parent folders from FTP Server

我试图将.ZIP文件从FTP服务器复制到Azure DataLake。 我需要从特定的父文件夹中复制特定文件(总共我在FTP中有6个父文件夹),并且需要安排此管道。 那么我应该如何提供参数,以便管道应该只选择不同文件夹中的特定文件?

我已经使用了元数据活动并试图创建管道,但不知道如何提供管道来只选择特定的文件!

Azure Data Factory支持在复制期间压缩/解压缩数据。 在输入数据集中指定压缩属性时,复制活动从源读取压缩数据并解压缩; 当您在输出数据集中指定属性时,复制活动压缩然后将数据写入接收器。

例如:

从FTP服务器读取.zip文件,解压缩以获取文件,并将这些文件放在Azure Data Lake Store中。 您将压缩类型属性定义为ZipDeflate的输入FTP数据集。

有关详细信息,请参阅: 压缩支持

以下是使用Azure Data Factory从FTP服务器复制数据的教程。

其他格式数据集要以ORC / Avro / JSON /二进制格式从FTP复制数据,此链接支持以下属性: 其他格式数据集

在此输入图像描述

提示:

  1. 要复制文件夹下的所有文件, 仅指定folderPath
  2. 要复制具有给定名称的单个文件,请指定带有文件夹部分的folderPath和带有文件名的fileName
  3. 要复制文件夹下的文件子集,请指定带有文件夹部分的folderPath和带有通配符过滤器的fileName

希望这可以帮助。

您需要使用过滤器活动来仅过滤所需的文件夹/文件。 我想你需要2个循环:

循环1:获取文件夹的元数据 - >过滤所需的文件夹 - >带循环2的foreach管道循环2:获取文件文件的元数据 - >过滤所需文件 - >复制所需文件

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM