CSV文件中的列数据为h5格式

Question

我正在尝试将 CSV 文件转换为 h5 格式文件。

我浏览了多个帖子，我已经能够创建 h5 文件，但仍然无法从 CSV 文件中提取各个列并将它们添加到 h5 文件中，如果有任何解决方案，请告诉我。

基本上我的 CSV 文件中有四列，每列有 4000 个观察值，试图检查是否有任何方法可以直接将其转换为 h5 或提取单个列数据并编辑现有的 h5 文件。 谢谢你。

import pandas as pd

filename = '/home/test3.h5'

df = pd.DataFrame(np.array([[1, 2], [4, 5]]),
                   columns=['a', 'b'])

print(pd.read_hdf(filename, 'data'))

Answer 1

如pandas I/O 指南 HDF5 (PyTables) 部分中所述，有 2 个简单的函数可以存储为 hdf：

• pd.to_hdf
• pd.read_hdf

因此，将 csv 转换为 h5 可以很简单：

df = pd.read_csv('input_file.csv')
df.to_hdf('output_file.h5', 'data')

如果要合并数据

df1 = pd.read_csv('input_file.csv')
df2 = pd.read_hdf('input_file.h5', 'data')
save = pd.merge(df1, df2, on=[...]) # combine data
save.to_hdf('output_file.h5', 'data')

如果input_file.h5和output_file.h5相同， mode='w'允许覆盖文件，使用mode='a'不同键（默认）允许 append 到文件， append=True允许 append 到文件里面的dataframe等

我链接的指南包含更多有关如何使用这些工具的示例，以及允许打开整个文件并查看其中包含的密钥的pd.HDFStore ，我建议您仔细阅读。