熊猫的read_csv方法使用了过多的RAM

Question

我目前在使用pandas DataFrame()处理数据时在Kaggle上使用Rotten Tomatoes数据集 。

我已经从sklearn实现了CountVectorizer()来提取特征（大小为5000）。 然后，我将10万行特征和标签保存到.csv中 。 更准确地说， .csv总共有100k行和5001列​​。 它的大小约为1gb的内存。

当我尝试阅读.csv时 ，出现了问题：

pd.read_csv('train.csv', header=0, 
             delimiter=",", engine='c', na_filter=False, dtype=np.int64)

CSV解析器使用了过多的RAM。 我的系统上有8gb的RAM，显然还不够。

有什么办法可以减少内存使用？ 我不受限于熊猫图书馆。

Answer 1

您可以尝试使用pandas.read_csv的chunksize选项。 这将使您能够批量处理数据，而不必一次将所有数据加载到内存中。 在处理每个批次时，您可以去除所有不必要的列，并将数据保存在一个新的，更细小的对象中，该对象可以放入内存中。 下面是一个示例：

chunks = pd.read_csv('train.csv', header=0, delimiter=",", engine='c', na_filter=False, dtype=np.int64, chunksize=50000)

slim_data = []
for chunk in chunks:
    {do your processing here}
final_data = pd.concat(slim_data)

在该示例中，每个块都是熊猫DataFrame格式的50,000条记录。 然后，您遍历50,000条记录的每个块，在其中可以对每个块进行处理，并将处理后的DataFrame附加到新对象（ slim_data的示例中是slim_data ），然后将所有块连接在一起成为最终的DataFrame，您可以在其中使用造型。

重申一下，以上内容仅在处理每批数据时要删除数据元素或以更有效的方式表示数据元素时有效，否则，您将再次遇到内存问题。 但是，这将使您不必一次将所有数据加载到内存中。