表分区与拆分表并执行多个连接到 SQL 服务器？

Question

我必须处理一个非常大的表（100MM+ 行）并对它执行一堆分析函数，例如取平均值、总和、百分位数等。

我想知道最好的方法是对表进行分区并在一个存储过程（使用一个连接）中执行我的计算，还是我应该按某些列（例如日期）将我的表拆分为较小的表并使用单独的连接执行我的计算到 SQL 服务器？

如果答案是第二个，我如何才能确保所有这些作业都已完成，然后才能汇总所有结果以创建最终表？

Answer 1

SQL 服务器支持 SQL 查询的并行查询计划。 因此，通常没有理由尝试通过多个连接运行查询以利用所有服务器资源。

对于大型表，倾向于将它们存储为集群列存储，以实现最佳压缩、列和段消除以及快速扫描。