流式處理大型csv文件的最快方法是什么？

Question

我已經將內置的csv閱讀器與Pandas的read_csv 。 前者要慢得多。 但是，由於內存限制，我需要流式傳輸csv文件。 什么流式csv閱讀器與Pandas一樣快或幾乎一樣快？

Answer 1

在pandas.read_csv中，您可以使用“ chunksize”選項，如果這樣做，pandas返回的對象將是一個迭代器（TextFileReader類型），當迭代結束時，它將返回一個讀取number_of_rows <= chunksize的DataFrame（我沒有意識到該選項存在，直到我閱讀源代碼...）。