從HDF5文件列表中創建一個dask數據幀

Question

從HDF5文件列表中創建dask.dataframe的正確方法是什么？ 我基本上想用數據幀做這個

dsets = [h5py.File(fn)['/data'] for fn in sorted(glob('myfiles.*.hdf5')]
arrays = [da.from_array(dset, chunks=(1000, 1000)) for dset in dsets]
x = da.stack(arrays, axis=0)

Answer 1

簡單地說，如果您的單個文件可以使用pd.read_hdf讀取，那么您可以使用dd.read_hdf和dd.concat執行此dd.concat 。

import dask.dataframe as dd
dfs = [dd.read_hdf(fn, '/data') for fn in sorted(glob('myfiles.*.hdf5')]
df = dd.concat(dfs)

但是直接在dd.read_hdf支持這個習慣是有用的（也很容易）。 我已經為此創建了一個問題 ，並將在接下來的幾天內嘗試解決這個問題 。