将数据从MongoDB迁移到SQL Server，性能会随着时间下降

Question

我想使用C＃驱动程序将数据从MongoDB传输到SQL Sever。 三个集合中的数据大小约为20,000,000。 我正在使用3个线程来读取它，并使用3个线程来插入3个不同的SQL Server表中。

读取大约7,000万份文档后，性能会变差，速度会变成以前的十分之一，并且网络带宽会下降。

如何防止性能下降？

Answer 1

尝试在单个线程上顺序迁移每个集合。 该操作将与IO绑定，而不是与CPU绑定，因此，多线程运行该操作很可能会降低性能，并增加数据库中的资源争用和上下文切换。

还要看看您的SQL Server数据库磁盘写入。 可能是正在使用硬盘高速缓存，但是当高速缓存刷新到磁盘时，写入速度变慢。