使用 Cython 和 Pandas 读取 TXT 文件

Question

我有一个近 4GB 的海量数据集（文本文件），我想使用 pandas dataframe 来处理数据集。 我可以读入文件，但需要几分钟才能读入所有数据。

所以，我想利用 Cython 库来利用 C 的速度。

我无法找出如何使用 Cython 将文本文件读入 pandas dataframe。

任何指导都会有所帮助。

Answer 1

读取一次并将其存储为具有更快 I/O 的其他文件格式（例如 HDF、pickle）。 您很可能会看到 10 到 20 倍的改进。

官方文档中对每种文件格式的 I/O 速度和磁盘空间进行了粗略的比较： https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#performance-considerations