通過 Azure 數據工廠，從本地數據湖到 azure 數據湖存儲的數據加載速度非常慢

Question

我想將數據從本地（Data Lake）存儲加載到 azure Data Lake 存儲 gen2。

為此，我創建了本地 windows 服務器並在其上安裝了自托管集成運行時。並從 Azure 數據工廠連接到本地數據湖 (HIVE)。

在 Azure 數據工廠中，我創建了一個具有復制活動的管道，並提供了源作為我的本地數據湖 (Hive)。並給出了 SQL 查詢來提取數據。同樣，我需要為多個表添加多個復制活動。

我只在我的管道中嘗試過單一副本活動。

我的問題來了：我的管道花費了大量時間將數據加載到數據湖中。

我的 Integration Run-time 所在的 windows 服務器帶寬為 10Gbps。但加載速度仍然很慢。

我剛剛嘗試拉取 20,000 條記錄。加載數據大約需要 20 分鍾。 我獲得的吞吐量約為 15kbps，非常低。

我怎樣才能提高我的活動的表現，以便它會更快。

Answer 1

您可以檢查 Integration Runtime 的配置嗎？ 您配置了多少 RAM 或節點？

另外，您使用的是 Express Route 還是 Side by Side VPN，Express Route 是更快的選擇

自托管集成運行時機器的推薦最低配置是 2 GHz 處理器，具有 4 個內核、8 GB RAM 和 80 GB 可用硬盤空間。