两个python程序可以同时写入和读取相同的HDF5文件吗

Question

我有2个python程序：

1）数据接收器 ：这是用龙卷风编写的TCP SERVER，每秒将向其发送约3,000行数据。 这是处理程序：

def _on_data_rev(data_list):
    tickstore_file=r"d:\data\2016_01_11.h5"
    tempdf=pd.DataFrame(data_list)
    hdf_output = pd.HDFStore(tickstore_file, complib='blosc')
    hdf_output['_'+str(int(time.time()))]=tempdf
    hdf_output.flush()

数据非常快，因此该程序仅保存工作，而没有其他任何事情。

2） 数据分析 ：程序2将每秒分析同一文件上的最新数据

我可以同时读取HDF5文件吗？ 这会破坏HDF5文件吗？

Answer 1

您需要的是HDF5的单作家多读者（SWMR）功能。

SWMR在1.10版本中被列为新功能 ，并且其中包含大量文档 。

它在2.5.0版的h5py中也是如此 。

至于熊猫的支持，我不太确定，因为我不使用它。