遷移mongo atlas數據庫到Azure數據湖存儲

Question

我有一個將 mongo atlas 上的 mongo 集群遷移到 ADLS Gen 2 的用例。我設置了一個 Azure 數據工廠管道來測試 2.9GB 數據的可行性。 耗時約 18 分鍾，平均速度為 2.6MBps。 考慮到我們整個數據庫的大小約為 10TB，這種速度不是最佳的，遷移需要數周時間

我的問題是：

• 有沒有更快的遷移方式。 它不必使用數據工廠，我只是搜索了選項並決定使用 ADFS 進行嘗試，如果性能更好，我會使用其他工具
• 在 ADFS 中，我注意到需要指定集合。 但我只想指定數據庫，以便復制選項將復制所有 collections。是否支持該選項或指定集合是強制性的？

編輯：我更新了 DIU 和 parallelCopies 屬性，但它對總時間沒有任何影響

Answer 1

您可以使用任何復制性能優化功能來增強遷移過程的性能。

下圖顯示了可實現的性能。

另請參閱性能調整步驟。

如果單獨使用 DIU 和 ParallelCopy 不起作用，則需要使用更強大的計算環境，即 Azure IR。

按照本教程創建一個新的 Azure IR： 創建和配置 Azure Integration Runtime 。 確保您的區域應該靠近您存儲的數據位置。 在計算類型下，使用Memory 優化，核心數為16（+ 16 個驅動核心）或更多。

請參閱下圖以供參考。

使用這個新創建的 IR 來運行您的管道。 這應該工作。