Keras：从HDF5和CSV加载迷你批处理

Question

我有一个大型数据集，太大而无法放入RAM，可以HDF5或CSV格式提供。 如何以小批量的方式将其喂入Keras？ 另外，这会为我洗牌还是我需要对数据集进行洗牌？

（当输入是Numpy数组时，我也对此感兴趣；由于Keras，我相信希望输入是ndarray。）

并且，如果我想在学习之前在Keras中进行一些轻量级的预处理（例如，将一些Python函数应用于数据以更改表示形式），是否可以添加？

Answer 1

在此处查看Keras可用的fit_generator方法： https ://keras.io/models/sequential/#sequential-model-methods它将模型拟合到Python生成器逐批生成的数据上（您可以在此处编写改组逻辑，因为生成器在您的控制之下）。

您可以在生成器本身中应用呼叫预处理。

希望这可以帮助。