简体   繁体   English

使用ADF Copy Activity,我需要将.zip中的.seq文件解压并转换为csv

[英]Using ADF Copy Activity, I need to unzip and convert .seq files in .zip to csv

This scenario is new for me.这种情况对我来说是新的。 My storage account having multiple folders.我的存储帐户有多个文件夹。 1 folder contains few.txt files and.zip files. 1 个文件夹包含几个.txt 文件和.zip 个文件。 .zip files contains.seq files. .zip 文件包含 .seq 文件。

My requirement is need to look in to each folder and我的要求是需要查看每个文件夹并

  1. copy.txt files复制.txt文件
  2. unzip zip files解压 zip 个文件
  3. files(.seq) in zip folder to be convert to.csv. zip 文件夹中的文件 (.seq) 将转换为 .csv。

Sink to destination.沉到目的地。

Get the list of folders from the container, copy.txt files to sink folder and unzip and copy seq files to sink, convert seq files to CSV and delete seq files from the folder.从容器中获取文件夹列表,将.txt文件复制到sink文件夹并解压复制seq文件到sink,将seq文件转换为CSV并从文件夹中删除seq文件。

在此处输入图像描述

Part1:第1部分:

  1. Using the Get Metadata activity get the folders list.使用Get Metadata活动获取文件夹列表。

在此处输入图像描述

在此处输入图像描述

  1. Pass the output of Get Metadata1 to ForEach activity.Get Metadata1的 output 传递给 ForEach 活动。

@activity('get folder list').output.childItems

在此处输入图像描述

  1. Inside the ForEach activity, add 2 copy activities.ForEach活动中,添加 2 个复制活动。

在此处输入图像描述

Copy data activity1:复制数据活动1:

In one copy data activity, unzip the zip files and copy to sink.在一次copy data活动中,解压 zip 个文件并复制到接收器。

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

Copy data activity2:复制数据活动2:

在此处输入图像描述

在此处输入图像描述

Part2:第2部分:

  1. Get seq files where they are copied to in previous activities.在之前的活动中将它们复制到的位置获取 seq 文件。

在此处输入图像描述

  1. Pass the GetMetadata2 activity output to ForEach2 activity.GetMetadata2活动 output 传递给ForEach2活动。 Copy each 'seq' file and convert it to CSV using copy data activity.复制每个“seq”文件并使用复制数据活动将其转换为 CSV。

在此处输入图像描述

Parameterize the sink file name and replace extension seq with CSV .参数化接收器文件名并将扩展名seq替换为CSV

@replace(item().name,'.seq','.csv')

在此处输入图像描述

Part3:第三部分:

As seq files were not deleted while converting them to CSV, we can use delete activity to delete them from the folder.由于seq文件在转换为CSV时并没有被删除,我们可以使用delete activity将其从文件夹中删除。

在此处输入图像描述

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM