尝试导入巨大的 CSV 文件时 Python 导入错误

Question

我对python很陌生。 我试图使用 read_csv 方法将 csv 文件导入 python。

数据集大约有 500 列和 10 万行。

我的努力是徒劳的，并且出现了内存错误。 我试图将文件拆分为多个块，但仍然面临同样的问题。

我的系统内存有问题吗？ python 在导入如此大量的列方面有限制吗？ 任何快速解决方案？

Answer 1

http://lethain.com/handling-very-large-csv-and-xml-files-in-python/

“使用将所有内容都视为流的代码”

它可能有助于澄清您对 CSV 中的数据所做的操作，因为这将决定您的内存问题的解决方案。