使用大 CSV 文件時出現 python pandas 內存錯誤

Question

我在一些大型 CSV 文件（超過 3000 萬行）上使用 Pandas 時遇到內存問題。 所以，我想知道什么是最好的解決方案？ 我需要合並幾個大表。 非常感謝！

Answer 1

在 Pandas 中解析大型 CSV 文件的最快方法的可能重復。

推斷是，如果您經常加載csv 文件數據，那么更好的方法是解析一次（使用傳統的read_csv ）並將其存儲為HDF5格式。 Pandas （帶有PyTables庫）提供了一種有效的方法來處理這個問題 [ docs ]。

另外， 在筆記本中上傳大 csv 文件以使用 python pandas 的最快方法是什么？ 通過csv與csv.gz與Pickle與HDF5比較，向您展示樣本數據集的定時執行 (timeit)。