Azure 數據工廠復制活動 - 附加到 JSON 文件

Question

我正在創建一個數據工廠管道，用於將數據從 REST API 端點復制到 Azure Blob 存儲。 API 有一次只能返回 1000 條記錄的限制，因此我在我的管道中內置了一個循環，該循環將遍歷所有頁面。 我想知道的是 - 是否可以使用復制活動附加到 Azure Blob 中的同一個文件，而不是為每個頁面創建一個單獨的文件？

下面是 API 響應的樣子。 我從每個響應中需要的唯一值是“記錄”列表，所以我想如果可能的話，我可以擺脫其他東西，並在循環運行時繼續附加到同一個文件中 - 盡管我沒有知道復制活動是否能夠做到這一點。 這可能嗎？ 或者唯一的方法是將所有響應作為單獨的文件放在 Blob 存儲中，然后在事后合並它們？

謝謝你

{
    "totalResults": 8483,
    "pageResults": 3,
    "timeStamp": "2020/08/24 10:43:26",
    "parameters": {
        "page": 1,
        "resultsPerPage": 3,
        "filters": [],
        "fields": [
            "lastName",
            "firstName",
            "checklistItemsAssigned",
            "checklistItemsStarted",
            "checklistItemsCompleted",
            "checklistItemsOverdue"
        ],
        "sort": {
            "field": "lastName",
            "direction": "asc"
        }
    },
    "records": [
        {
            "checklistItemsAssigned": 10,
            "lastName": "One",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 10,
            "checklistItemsCompleted": 10
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Two",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Three",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        }
    ]
}

Answer 1

ADF 的復制活動支持從塊、追加或頁面類型的 blob 中復制 blob，但僅將數據復制到塊 blob。 Blobk blob 只能被覆蓋。 您可能可以使用 Storage SDK 創建一個追加類型的 blob，但對於大多數項目來說這將是一種矯枉過正。 我會在最后階段創建新的 blob 並合並它們。