讀取大數據框時出現pandas MemoryError

Question

我正在使用熊貓讀取一個較大的csv文件，該文件為14G，我的計算機在Linux上具有60G的可用內存，該文件約為45,000,000行和55列。看來不可能發生此問題。解決這個問題？ 錯誤是

packages/pandas/core/internals.py", line 4188, in _stack_arrays
stacked = np.empty(shape, dtype=dtype)
MemoryError

Answer 1

您可以傳遞參數

low_memory=False

在讀取csv文件時。 或嘗試分解成塊，然后附加這些塊。