連續運行 Azure 數據工廠管道

Question

我需要將數據從一個 SQL 表增量復制到另一個 SQL 表。 水印或鍵列是標識列。 我的老板希望我在加載完成后立即重新啟動加載...如您所知，完成時間可能會有所不同。 在Azure數據工廠中，觸發選項有Scheduled、Tumbling Window和Custom Event。 有誰知道哪個選項可以讓我實現管道的這種連續運行以及如何配置它？

Answer 1

ADF 中的管道是基於批處理的。 您可以將“微批”設置為 1 分鍾，使用計划觸發器或 5 分鍾，使用翻滾 window。

Answer 2

ADF 將批量運行。 如果你想連續加載數據，那么你可以 go for Stream Analytics / Event Hub 這將加載實時數據

Answer 3

創建一個新的管道。 稱之為“永遠奔跑”。 添加一個帶有永不為真的條件的“直到”活動，例如@equals(1, 2) 。

在 until 內執行在表之間復制的管道。 確保勾選“等待完成”。

如果表復制失敗，則“永遠運行”將失敗，必須手動重新啟動。 您可能不希望安排“永遠運行”，因為安排的調用實際上應該不會失敗。