Keras：從HDF5和CSV加載迷你批處理

Question

我有一個大型數據集，太大而無法放入RAM，可以HDF5或CSV格式提供。 如何以小批量的方式將其喂入Keras？ 另外，這會為我洗牌還是我需要對數據集進行洗牌？

（當輸入是Numpy數組時，我也對此感興趣；由於Keras，我相信希望輸入是ndarray。）

並且，如果我想在學習之前在Keras中進行一些輕量級的預處理（例如，將一些Python函數應用於數據以更改表示形式），是否可以添加？

Answer 1

在此處查看Keras可用的fit_generator方法： https ://keras.io/models/sequential/#sequential-model-methods它將模型擬合到Python生成器逐批生成的數據上（您可以在此處編寫改組邏輯，因為生成器在您的控制之下）。

您可以在生成器本身中應用呼叫預處理。

希望這可以幫助。