Azure 数据工厂 - REST API 调用分页

Question

我正在调用数据工厂中的数据并努力在“next_page”项中调用 url。

这是第一个 API 调用返回的示例：

{
"items": [
    {
        "title_one": "TTL-55924",
        "id": "CPT-TTL-64577_TTL-55924",
        "title_id": "TTL-64577"
    },
    {
        "title_one": "TTL-69015",
        "id": "CPT-TTL-79755_TTL-69015",
        "title_id": "TTL-79755"
    }
],
"next_page": "http://api.com/api/info?offset=5000&key=XXXxxxXXXxxx"

}

我不确定在我的复制活动的分页规则中使用哪些选项。

目前我正在尝试使用值为“$['next_page']”的选项“AbsoluteURL”，但这只会返回一个错误。

Answer 1

如果您的 API 响应包含下一页 URL 属性，则“ AbsoluteUrl ”分页规则是在 Z3A580F142203677F13ZF0BC30898F63F 数据工厂中加载下一页的正确选项。

此MS 文档中提到了分页规则支持的值。

如上述文档中的示例所述，Facebook Graph API 返回响应为，

{
"data": [
    …
    …
],
"paging": {
    …
    …
    },
    "previous": "https://graph.facebook.com/me/albums?limit=25&before=NDMyNzQyODI3OTQw",
    "next": "https://graph.facebook.com/me/albums?limit=25&after=MTAxNTExOTQ1MjAwNzI5NDE="
}
}

注意： JSON 路径表达式的分页值以“ $ ”开头。

您在 REST 复制活动中的分页如下所示：

在您的 API 中，分页应如下所示

Answer 2

我有一个类似的问题。 我正在尝试从 rest API 复制 shopify 数据，并且能够获得第一页数据，但是我不知道如何设置分页。 分页出现在 header 响应中，如下所示：

我将其设置为此，但这会返回错误：

ADF 错误：“源”端发生故障。 ErrorCode=RestSourceCallFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=HttpStatusCode 404 表示失败。 Request URL: https://joyfolie.myshopify.com/admin/api/2021-07/%3Chttps://joyfolie.myshopify.com/admin/api/2021-07/products.json?limit=50&page_info=eyJsYXN0X2lkIjo0NjI0ODcyMjEwNDkwLCJsYXN0X3ZhbHVlIjoiKk5FVyogQmFlIFNraXJ0IGluIE9jaHJlIiwiZGlyZWN0aW9uIjoibmV4dCJ9% 3E;%20rel=%22next%22响应负载：{"errors":"Not Found"},Source=Microsoft.DataTransfer.ClientLibrary,' 源管道副本 Shopify 产品

这是响应 header 中链接的外观

https://joyfolie.myshopify.com/admin/api/2022-01/products.json?limit=50&page_info=eyJsYXN0X2lkIjo0NjI0ODcyMjEwNDkwLCJsYXN0X3ZhbHVlIjoiKk5FVyogQmFlIFNraXJ0IGluIE9jaHJlIiwiZGlyZWN0aW9uIjoibmV4dCJ9 ; 相对=“下一个”