在R中讀取大型csv文件

Question

你想告訴如何閱讀3 gb csv文件，因為當我嘗試用read.csv閱讀時，我偶然發現了這個錯誤“錯誤：無法分配大小為250.0 Mb的向量”。 我的機器是i5 4 gb ram Win 7 32 bit。 此外，我嘗試使用ff包打開它，我再次面臨錯誤，我應該使用64位版本的R能夠讀取csv文件以及我需要更多ram來閱讀它。 我應該考慮使用掃描功能。 我嘗試使用掃描功能，但我想在我的代碼中使用skip = 4和nlines = 2，當我嘗試使用它時，我只讀取數據的第一行。

Answer 1

R完全在內存（RAM）中運行，因此一旦可用空間read.csv ， read.csv操作就會很難。 要解決這個問題，您可以嘗試增加可用內存量：

memory.limit(size=8097)   # allocate 8097 MB = 8 GB for R to use

您將需要64位版本的R來利用它。 並且您可能必須將內存增加到8 GB以上才能使您的操作正常運行。

Answer 2

如果您嘗試使用當前的內存管理方法完成需要過多隨機存取內存的分析，那么我建議您調整分析以利用虛擬內存 ，只要您有足夠的硬盤空間即可。