SQL Server：批量插入数据加载到具有多个文件组的分区表

Question

我正在尝试加载一系列CSV文件，大小从100MB到20GB（总计约3TB）。 因此，我需要尽我所能提高性能。 我的目标是使用文件分组和分区作为一种手段。 我进行了一系列测试以查看最佳方法。

首先，我尝试了各种文件组组合； 我得到的最好的结果是当我加载到一个文件组的一个表中时； 分配了多个文件，它们都位于一张光盘上。 这种组合在我有多个文件组的情况下表现出色。

下一步自然是要进行分区。 奇怪的是，我检查过的所有分区组合的性能都较低。 我尝试定义各种分区功能/方案以及各种文件组组合。 但是所有人都显示出较低的加载速度。

我想知道我在这里缺少什么！

到目前为止，我设法在3分钟内加载（使用批量插入）1GB的csv文件。 任何想法都非常感谢。

Answer 1

为了获得最佳的数据加载速度，您需要首先了解SQL Server数据加载过程，这意味着了解SQL Server如何实现以下提到的优化。

1. 最少的日志记录。
2. 并行加载。
3. 锁定优化。

这两篇文章将详细说明如何详细实现上述所有优化。 使用批量加载和最小记录以及将数据批量加载到HEAP和CLUSTERED表中 来最快的数据加载

希望这可以帮助。