如何将Pandas DataFrame存储为HDF5 PyTables表（或CArray，EArray等）？

Question

我有以下熊猫数据框：

import pandas as pd
df = pd.read_csv(filename.csv)

现在，我可以使用HDFStore将df对象写入文件（例如将键值对添加到Python字典中）：

store = HDFStore('store.h5')
store['df'] = df

当我查看内容时，该对象是一个frame 。

store

输出

<class 'pandas.io.pytables.HDFStore'>
File path: store.h5
/df            frame        (shape->[552,23252])

但是，为了使用索引，应该将其存储为table对象。

我的方法是尝试HDFStore.put()即

HDFStore.put(key="store.h", value=df, format=Table)

但是，此操作失败并显示以下错误：

TypeError: put() missing 1 required positional argument: 'self'

如何将Pandas Dataframe保存为PyTables表？

Answer 1

公用部分-创建或打开现有的HDFStore文件：

store = pd.HDFStore('store.h5')

如果要索引所有列，请尝试以下操作：

store.append('key_name', df, data_columns=True)

或者，如果您只想索引一部分列，则执行以下操作：

store.append('key_name', df, data_columns=['colA','colC','colN'])

PS HDFStore.append()默认以table格式保存DF

Answer 2

如何将Pandas Dataframe保存为PyTables表？

除了接受的答案，您应该始终关闭PyTable文件。 为了方便起见，Pandas提供了HDFStore作为上下文管理器：

with pd.HDFStore('/path/to/data.hdf') as hdf:
   hdf.put(key="store.h", value=df, format='table', data_columns=True)