在Python中对大图像数据集进行多处理

Question

我有一个非常大的图像数据集（> 50G，一个文件夹中有单个图像）用于训练，为了使图像加载更加高效，我首先将部分图像加载到RAM中，然后将小批量发送给GPU进行训练。

我想进一步加快数据准备过程， 然后再将图像提供给GPU，并正在考虑进行多处理。 但是我不确定应该怎么做，有什么想法吗？

Answer 1

为了提高速度，我建议您使用HDF5或LMDB：

我已成功使用ml-pyxis使用LMDB创建深度学习数据集。

它允许创建二进制Blob（LMDB），并且可以非常快速地读取它们。 上面的链接附带了一些有关如何创建和读取数据的简单示例。 包括python generators / iteratos

对于多处理：

我亲自与Keras一起工作，通过使用python生成器，可以使用fit_generator方法对数据进行多重处理。

fit_generator(self, generator, samples_per_epoch,
              nb_epoch, verbose=1, callbacks=[],
              validation_data=None, nb_val_samples=None,
              class_weight={}, max_q_size=10, nb_worker=1,
              pickle_safe=False)

使模型适合Python生成器逐批生成的数据。 生成器与模型并行运行以提高效率。 例如，这允许您并行地对CPU上的图像进行实时数据增强，以在GPU上训练模型。 您可以在此处找到源代码 ，并在此处找到文档 。

Answer 2

不知道您是否更喜欢tensorflow / keras / torch / caffe。

多处理就是使用多个GPU

基本上，您正在尝试通过为每个GPU委派或生成一个子进程来利用更多的硬件，并让它们发挥作用。 上面的示例适用于Logistic回归 。

当然，您会更热衷于研究卷积网络-这种LSU材料 （第48-52页，幻灯片11-14）建立了一些直觉

Keras尚未正式提供支持，但您可以“自行承担风险”

对于多处理，tensorflow是解决此问题的更好方法（我认为）事实上，他们也有一些很好的文档