Pickle dump Pandas DataFrame

Question

這是一個懶惰的人的問題。

我有400萬行pandas DataFrame，並希望將它們保存到較小的pickle文件塊中。

為什么小塊？ 更快地保存/加載它們。

我的問題是：1）是否有更好的方法（內置功能）將它們保存在較小的部分而不是使用np.array_split手動分塊？

2）除了手動將它們粘在一起之外，有什么方法可以將它們粘在一起嗎？

除了泡菜之外，請隨意推薦適合此工作的任何其他數據類型。

Answer 1

如果目標是快速保存和加載，您應該考慮使用sql而不是原始文本pickle。 如果您的計算機在要求它寫入400萬行時發出窒息，您可以指定一個塊大小。

從那里你可以用std查詢切片。 SQL。

Answer 2

我一直在使用這個數據框大小為7,000,000 x 250

使用hdfs 文檔

df = pd.DataFrame(np.random.rand(5, 5))
df

df.to_hdf('myrandomstore.h5', 'this_df', append=False, complib='blosc', complevel=9)

new_df = pd.read_hdf('myrandomstore.h5', 'this_df')
new_df