迁移mongo atlas数据库到Azure数据湖存储

Question

我有一个将 mongo atlas 上的 mongo 集群迁移到 ADLS Gen 2 的用例。我设置了一个 Azure 数据工厂管道来测试 2.9GB 数据的可行性。 耗时约 18 分钟，平均速度为 2.6MBps。 考虑到我们整个数据库的大小约为 10TB，这种速度不是最佳的，迁移需要数周时间

我的问题是：

• 有没有更快的迁移方式。 它不必使用数据工厂，我只是搜索了选项并决定使用 ADFS 进行尝试，如果性能更好，我会使用其他工具
• 在 ADFS 中，我注意到需要指定集合。 但我只想指定数据库，以便复制选项将复制所有 collections。是否支持该选项或指定集合是强制性的？

编辑：我更新了 DIU 和 parallelCopies 属性，但它对总时间没有任何影响

Answer 1

您可以使用任何复制性能优化功能来增强迁移过程的性能。

下图显示了可实现的性能。

另请参阅性能调整步骤。

如果单独使用 DIU 和 ParallelCopy 不起作用，则需要使用更强大的计算环境，即 Azure IR。

按照本教程创建一个新的 Azure IR： 创建和配置 Azure Integration Runtime 。 确保您的区域应该靠近您存储的数据位置。 在计算类型下，使用Memory 优化，核心数为16（+ 16 个驱动核心）或更多。

请参阅下图以供参考。

使用这个新创建的 IR 来运行您的管道。 这应该工作。