GET 請求將數據從 REST API 復制到 Data Lake 時出現問題

Question

我將提供一些上下文：我的管道向 REST API（身份驗證類型：OAuth2 客戶端憑據）發出 GET 請求，以便以鑲木地板文件格式將數據導入數據湖 (ADLSGen2)。 稍后，存儲過程創建一個視圖，其中包括預定義目錄中的每個文件。

我期待每小時（或可能每 30 分鍾）向 API 請求數據，以獲取前一小時的信息。 問題是：作為響應，每小時帶來近 3600 萬條記錄。

在響應的正文中，沒有提到頁數或總頁數。 只有數據（鍵和值）。

另一方面，標題包括“第一頁”和“下一頁”（僅當響應中有更多頁面時才會出現，但也沒有提及總頁數）。

我想知道是否有任何有用的建議可以使我的復制數據活動以不同的方式工作。 現在，由於我上面提到的，分頁規則設置為 RFC5988。 我希望以某種方式對我請求的數據進行分區。

另外，我想知道是否有另一種方法來解決這個問題（例如使用其他活動）。

謝謝！

馬特奧

Answer 1

您需要將Header占位符替換為您的 header_name(Link)。

或者你可以直接使用這樣的動態內容。