Azure ADF V2 ForEach File CopyData 从 Blob 存储到 SQL 表

Question

我需要设计一个 ADF 管道，以将在名为“Current”的特定 Blob 存储文件夹路径上创建的 CSV 文件复制到 SQL 表。 成功复制后，我必须将文件移动到存档文件夹。

我已经完成的事情： 我正在使用复制数据活动来复制 CSV 文件并加载到我的 SQL 表中。 成功后，另一个复制数据活动会将 CSV 文件从“当前”文件夹复制到“存档”，此后我有一个删除活动从当前文件夹中删除文件。

问题：在一次只有一个文件的情况下这完全没问题。 但我想重新设计它以处理多个文件导入。 我想利用 ForEach 活动。 请帮忙。

Answer 1

您需要在 for-each 之前添加一个 Get Metadata 活动。 Get Metadata 活动将获取当前目录中的文件并将它们传递给 For-Each。 将其连接到 Blob 存储文件夹并指定文件掩码。 活动的输出需要是 for-each 循环的输入。 像这样的东西..@activity('Get Metadata').output。 顺便说一下，你是如何触发这个 ADF 管道的？ 实现此目的的另一种方法是设置事件触发器以在该 blob 目录中创建文件时运行此管道。 以下是对存储容器中的文件使用 For-Each 的步骤。

1. 将获取元数据参数设置为“子项”
2. 在您的 For-Each 中，将 Items 设置为 @activity('Get Metadata1').output.childitems

3. 在复制活动中使用的源数据集中，创建一个名为 FileName 的参数。

4. 设置文件路径使用参数

5. 在 Copy Activity 上将 FileName 参数设置为 @item().name

要完成，您需要将水槽设置为您需要的任何位置。 那应该这样做。