读取大数据框时出现pandas MemoryError

Question

我正在使用熊猫读取一个较大的csv文件，该文件为14G，我的计算机在Linux上具有60G的可用内存，该文件约为45,000,000行和55列。看来不可能发生此问题。解决这个问题？ 错误是

packages/pandas/core/internals.py", line 4188, in _stack_arrays
stacked = np.empty(shape, dtype=dtype)
MemoryError

Answer 1

您可以传递参数

low_memory=False

在读取csv文件时。 或尝试分解成块，然后附加这些块。