如何加快 pandas 将数据帧保存到 csv？

Question

有什么方法可以加快保存过程。 我有一个仅包含 600,000 行的数据框，我的程序在保存文件时卡住了大约 8 个小时，然后我才因为沮丧而退出程序。 Pandas 将在短短 45 秒内成功保存 50,000 行的数据帧，但由于某种原因，这个有点大的数据帧会导致它出错。 我知道肯定是 pandas to_csv 命令正在减慢程序的速度。 这是一些代码：df.to_csv(mes_csv + "_copy.csv.gz", chunksize=100000, header=True, compression='gzip', encoding='utf-8')

Answer 1

您也可以尝试羽毛或镶木地板格式。 基本原理：保存和重新加载文件的速度，以及压缩（对于镶木地板）。

df.to_feather('test.feather')

df.to_parquet('test.hd5')

文档在这里：

• https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#feather
• https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#parquet