如何通過Excel 2010上的Power Query和Power Pivot結合使用RAM中無法容納的龐大csv文件

Question

我想知道是否有人可以幫助我解決以下問題。 首先進行設置（由於是公司環境，因此無法更改）

• 操作系統：Windows 7 Professional。 Service Pack1。32位
• 硬件：8.00 GB RAM（可用2.73 Gb）

我正在尋找一種使用Excel對真正的大文件（約5Gb）進行切片和切塊的解決方案。 因此，等同於能夠使用具有大量數據的數據透視表和圖形。

我剛剛在筆記本電腦上安裝了Power Query和Power Pivot（請記住我正在運行Excel 2010-32bit），並將巨大的.csv文件保存為與Power Query的連接。 但是，我無法將其添加到數據模型中並從Power Pivot中使用它（顯然，這在Excel 2010中是一個問題）。 我試圖通過單擊Power Pivot->現有連接來解決問題。 但隨后它嘗試導入所有內容，而我的內存不足或達到了一些Excel限制。

對我來說，想法應該是永遠不要加載數據，將其保存為連接（僅存儲查詢），並且“懶惰地”加載數據，並且僅設置Power Pivot報表后所需（否則，我不知道Power Query和Power Pivot如何幫助處理否則無法在Excel中容納的大文件）。

我該怎么做才能將到大型文件的連接添加到數據模型中，以便可以繼續工作，直到可以使用Power Pivot設置報告並查看結果為止？

如果有我缺少的軟件包（例如Power BI），那可以幫助我解決問題，請告訴我。 如果它是免費的（例如Power Query和Power Pivot），則可以安裝它。

預先非常感謝和問候

Answer 1

由於聽起來好像由於將所有內容都導入，將CSV直接加載到Power Pivot失敗了。 一種選擇是將CSV加載到諸如訪問文件（或SQL Server Express）之類的中間數據庫中，同時清理數據以提高內存使用率。

注意：Power Pivot在更新模型時會使用更多內存。

鏈接到創建內存高效模型 ，其中包含有關如何設計電源樞紐模型以提高內存效率的一些技巧。

還要注意，數據的唯一性會嚴重影響內存中可以容納多少數據。 具有不同值的列消耗的內存更少，某些事實（例如事實表中的row_ID）將消耗大量內存。