Azure 数据工厂管道“失败”

Question

我正在设置 ADF 管道以将 blob 复制到 Azure SQL DB。 我的管道中有一个迭代活动，我在其中设置了一个计数器，仅当 blob 存在时才进行循环和复制。

除了一些随机的PK违规外，这很有效，我必须手动检查。 所以我编辑了我的管道来记录错误，然后继续。 所以我这样设置了管道。 如果复制活动由于主键冲突而失败， （暂时）忽略，但使用存储过程记录详细信息并照常继续，即更新循环计数器以获取下一个文件夹。

不幸的是，成功的日志失败并没有执行“设置变量”活动。 所以它在无限循环中返回，不断返回相同的异常，但存储过程活动本身正在正确记录错误消息。

如果我创建一个新的“设置变量”并完全按照 SetLoopVariable 执行的操作，似乎没问题。 但这意味着我必须复制此后的每个活动才能有两个单独的路径。 我觉得这是多余的。

背景：我的文件结构是容器/YYYY/MM/dd/HH/mm，每小时至少有一个文件，但不是一天中的每一分钟，所以我在尝试复制之前检查文件夹是否存在.

Answer 1

这是设计使然。 只有在 Copy Data 成功和失败时才会调用 SetVariable，因为Data Factory V2 Activity Dependencies 是 Logical AND 。

Answer 2

托马斯的回答是正确的。 我最近有这个确切的问题。 万一它帮助其他人，我意识到这意味着箭头不代表流，而是依赖。 该框仅在所有前面的任务都完成后运行，这在您的情况下是不可能的，因为它取决于成功和失败的副本。

要解决您的问题，只需在错误处理路径中复制“设置循环变量”即可。

但是，您可能会遇到与我现在在Azure 数据工厂中遇到的问题相同的问题：处理直到/为活动中的内部故障