ADFv2 隊列時間

Question

我有一個包含一些復制活動的管道。 其中一些活動負責以壓縮方式將大量數據從存儲帳戶復制到同一個存儲帳戶（我指的是幾 TB 數據）。

運行管道幾個小時后，我注意到某些活動在監視刀片上顯示“排隊”時間，我想知道“排隊”時間的原因是什么。 更重要的是，如果我在那個時候被收費也是因為據我所知，我的 ADF 沒有做任何事情。

有人可以透露一些信息嗎？ :)

Answer 1

（由於評論字符限制，將此作為答案發布）

在與 Azure 支持人員進行了長時間的討論並聯系了 ADF 產品團隊的某個人之后，我得到了一些答案：

1 - 排隊時間不計費。

2 - 最初，編排 ADF 系統將作業放入隊列中，並獲得“排隊時間”，直到基礎設施接收它並開始處理部分。

3 - 在我的情況下，由於底層后端執行程序（它使用 Azure Batch）中的錯誤，作業開始后排隊時間增加。 顯然，執行程序崩潰了，我的工作正在遭受“重新取貨”時間的困擾，從而增加了排隊時間。 這解釋了為什么一段時間后我開始看到執行時間和傳輸的數據正在減少。 這個錯誤修正的預計到達時間是在月底。 此外，我正在執行的工作超時（7 天后），在檢查帳單后，我確認我沒有為此收取一毛錢。

Answer 2

根據此ADF Monitor 中的圖表，您可以在示例中找到相同的指標。

實際上，它是executionDetails參數中的指標。 Queue Time+ Transfer Time= Duration Time.

關於復制活動所經歷的階段的更多詳細信息，以及相應的步驟、持續時間、使用的配置等。不建議解析此部分，因為它可能會發生變化。

請參閱並行復制，復制活動將創建並行任務以在內部傳輸數據。 活動在排隊時間和傳輸時間都處於活動狀態，永遠不會在排隊時間停止，以便在整個持續時間內計費。 我認為這是數據傳輸過程中不可避免的損失，並且已經被adf內部消化了。 您可以嘗試調整parallelCopies參數以查看是否有任何變化。

如果您確實關心成本，可以在此處提交反饋以征求 Azure 團隊的聲明。