表分區與拆分表並執行多個連接到 SQL 服務器？

Question

我必須處理一個非常大的表（100MM+ 行）並對它執行一堆分析函數，例如取平均值、總和、百分位數等。

我想知道最好的方法是對表進行分區並在一個存儲過程（使用一個連接）中執行我的計算，還是我應該按某些列（例如日期）將我的表拆分為較小的表並使用單獨的連接執行我的計算到 SQL 服務器？

如果答案是第二個，我如何才能確保所有這些作業都已完成，然后才能匯總所有結果以創建最終表？

Answer 1

SQL 服務器支持 SQL 查詢的並行查詢計划。 因此，通常沒有理由嘗試通過多個連接運行查詢以利用所有服務器資源。

對於大型表，傾向於將它們存儲為集群列存儲，以實現最佳壓縮、列和段消除以及快速掃描。