从hDf5文件中读取巨大的numpy数组（带有图像数据）的最快方法

Question

我有大量的图像，我使用hdf5文件格式化预先存储并存储它们（存储浮动的numpy数组（22500,3,224,224）浮点数）。 hdf5文件的大小为22 GB。

为此，我使用了python的h5py库。 我使用以下代码来创建文件。

h5f = h5py.File('data.h5', 'w')
h5f.create_dataset('data' , data=myNumpyArray)
h5f.close()

我有一个机器学习程序，可以学习这些数据。 所以我有一个运行在这些文件上的迭代器（我有大量数据，因此我制作了8个文件，每个22GB）。 迭代器加载每个文件并训练网络。 然而，这种文件加载非常慢。 加载文件大约需要15分钟。 我使用以下代码加载文件。

h5f = h5py.File('data.h5', 'r')
myNumpyArray= h5f['data'][:]
h5f.close()

因此，为了对数据运行100次迭代，我花费15 * 8 * 100（乘以8因为我有8个文件）= 12,000分钟（仅在文件读取时）我无法承受。

我第一次做这样的事情，我不确定我做的是否正确。

有人可以帮助我如何减少文件读取时间吗？或者我编写数据本身的方式是错误的？ 任何帮助将不胜感激。

谢谢你，Vijetha。

Answer 1

使用固态硬盘 - 这些天您可以以200美元左右的价格购买500GB的外置设备，或者如果您使用的是AWS，它每天只需1.5美元左右就可以租用EBS固态硬盘。

当我用100行读取时，我需要55秒，而我只需要8GB的Macbook Air; 在更高功率的机器上应该快得多。

m = np.random.random((20000,3,255,255))
h5f = h5py.File('data.h5', 'w')
h5f.create_dataset('data' , data=m)
h5f.close()
def access_data(d):
     for i in range(200):
         a = d[i*100:(i+1)*100]


h5f = h5py.File('data.h5', 'r')
%time access_data(h5f['data'])

CPU times: user 84.8 ms, sys: 35.4 s, total: 35.5 s
Wall time: 55.7 s