通过 Azure 数据工厂，从本地数据湖到 azure 数据湖存储的数据加载速度非常慢

Question

我想将数据从本地（Data Lake）存储加载到 azure Data Lake 存储 gen2。

为此，我创建了本地 windows 服务器并在其上安装了自托管集成运行时。并从 Azure 数据工厂连接到本地数据湖 (HIVE)。

在 Azure 数据工厂中，我创建了一个具有复制活动的管道，并提供了源作为我的本地数据湖 (Hive)。并给出了 SQL 查询来提取数据。同样，我需要为多个表添加多个复制活动。

我只在我的管道中尝试过单一副本活动。

我的问题来了：我的管道花费了大量时间将数据加载到数据湖中。

我的 Integration Run-time 所在的 windows 服务器带宽为 10Gbps。但加载速度仍然很慢。

我刚刚尝试拉取 20,000 条记录。加载数据大约需要 20 分钟。 我获得的吞吐量约为 15kbps，非常低。

我怎样才能提高我的活动的表现，以便它会更快。

Answer 1

您可以检查 Integration Runtime 的配置吗？ 您配置了多少 RAM 或节点？

另外，您使用的是 Express Route 还是 Side by Side VPN，Express Route 是更快的选择

自托管集成运行时机器的推荐最低配置是 2 GHz 处理器，具有 4 个内核、8 GB RAM 和 80 GB 可用硬盘空间。