在R中读取大型csv文件

Question

你想告诉如何阅读3 gb csv文件，因为当我尝试用read.csv阅读时，我偶然发现了这个错误“错误：无法分配大小为250.0 Mb的向量”。 我的机器是i5 4 gb ram Win 7 32 bit。 此外，我尝试使用ff包打开它，我再次面临错误，我应该使用64位版本的R能够读取csv文件以及我需要更多ram来阅读它。 我应该考虑使用扫描功能。 我尝试使用扫描功能，但我想在我的代码中使用skip = 4和nlines = 2，当我尝试使用它时，我只读取数据的第一行。

Answer 1

R完全在内存（RAM）中运行，因此一旦可用空间read.csv ， read.csv操作就会很难。 要解决这个问题，您可以尝试增加可用内存量：

memory.limit(size=8097)   # allocate 8097 MB = 8 GB for R to use

您将需要64位版本的R来利用它。 并且您可能必须将内存增加到8 GB以上才能使您的操作正常运行。

Answer 2

如果您尝试使用当前的内存管理方法完成需要过多随机存取内存的分析，那么我建议您调整分析以利用虚拟内存 ，只要您有足够的硬盘空间即可。