如何在 Azure 数据工厂的复制活动中捕获 output 值

Question

我正在从 API 来源获取数据，每次分页都会返回一些控制数据流所需的元数据。 最重要的是，它给了我下一页 URL（在“分页规则”中捕获）和 [end_of_stream] 值。

但是，我无法理解如何捕获此 output 值并将复制活动封装在 While 循环中（当 [end_of_stream] = 0 时，继续获取数据）。

有人可以帮忙吗？ 我是否需要改用 Web 活动，因为这允许我查看活动的 output 并在变量中使用这些值。 复制活动似乎只能选择将值分配给接收器中的列。 而上述活动的 output 仅显示对我不可用的元数据。

数据工厂复制活动

Answer 1

我会回答我自己的问题，以防其他人有同样的头痛。

我没有意识到的是复制活动的内置功能，以及分页规则（ 参考）。

它包含添加结束条件的选项，可以在每次迭代时由复制活动选取。 迭代还通过在 API（在我的例子中是 Zendesk API）的每个响应中找到的下一页 URL 获取下一页。

在我的 JSON 中，它看起来像：

"EndCondition:$.end_of_stream": "Const:true"

我想做的是将最后一次拾取的 cursor 保存为一个变量，但我想最好的方法是将它作为一列添加到我的每一行的源代码中。

REST API 结束条件的分页规则：