如何通过Excel 2010上的Power Query和Power Pivot结合使用RAM中无法容纳的庞大csv文件

Question

我想知道是否有人可以帮助我解决以下问题。 首先进行设置（由于是公司环境，因此无法更改）

• 操作系统：Windows 7 Professional。 Service Pack1。32位
• 硬件：8.00 GB RAM（可用2.73 Gb）

我正在寻找一种使用Excel对真正的大文件（约5Gb）进行切片和切块的解决方案。 因此，等同于能够使用具有大量数据的数据透视表和图形。

我刚刚在笔记本电脑上安装了Power Query和Power Pivot（请记住我正在运行Excel 2010-32bit），并将巨大的.csv文件保存为与Power Query的连接。 但是，我无法将其添加到数据模型中并从Power Pivot中使用它（显然，这在Excel 2010中是一个问题）。 我试图通过单击Power Pivot->现有连接来解决问题。 但随后它尝试导入所有内容，而我的内存不足或达到了一些Excel限制。

对我来说，想法应该是永远不要加载数据，将其保存为连接（仅存储查询），并且“懒惰地”加载数据，并且仅设置Power Pivot报表后所需（否则，我不知道Power Query和Power Pivot如何帮助处理否则无法在Excel中容纳的大文件）。

我该怎么做才能将到大型文件的连接添加到数据模型中，以便可以继续工作，直到可以使用Power Pivot设置报告并查看结果为止？

如果有我缺少的软件包（例如Power BI），那可以帮助我解决问题，请告诉我。 如果它是免费的（例如Power Query和Power Pivot），则可以安装它。

预先非常感谢和问候

Answer 1

由于听起来好像由于将所有内容都导入，将CSV直接加载到Power Pivot失败了。 一种选择是将CSV加载到诸如访问文件（或SQL Server Express）之类的中间数据库中，同时清理数据以提高内存使用率。

注意：Power Pivot在更新模型时会使用更多内存。

链接到创建内存高效模型 ，其中包含有关如何设计电源枢纽模型以提高内存效率的一些技巧。

还要注意，数据的唯一性会严重影响内存中可以容纳多少数据。 具有不同值的列消耗的内存更少，某些事实（例如事实表中的row_ID）将消耗大量内存。