通過加載不同的 numpy 文件訓練 keras model

Question

我有多個 numpy 文件，我想將它們全部包含到訓練中。 我想知道是否可以加載另一個 numpy 文件並在同一時期繼續訓練？ 下面是我的工作代碼。 目前它正在對一個加載的 numpy 文件進行訓練。

   ####################################  Load Data #####################################3
patches_imgs_train  = np.load('patches_imgs_train_3.npy')
patches_masks_train = np.load('patches_masks_train_3.npy')

patches_imgs_train = np.einsum('klij->kijl', patches_imgs_train)
patches_masks_train = np.einsum('klij->kijl', patches_masks_train)


print('Patch extracted')

#model = M.unet2_segment(input_size = (64,64,1))
model = M.BCDU_net_D3(input_size = (128,128,1))
model.summary()

print('Training')

nb_epoch = 30

mcp_save = ModelCheckpoint('weight_lstm.hdf5', save_best_only=True, monitor='val_loss', mode='min')
reduce_lr_loss = ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=7, verbose=1, epsilon=1e-4, mode='min')

history = model.fit(patches_imgs_train,patches_masks_train,
              batch_size=batch_size,
              epochs=nb_epoch,
              shuffle=True,
              verbose=1,
              validation_split=0.2, callbacks=[mcp_save, reduce_lr_loss] )

Answer 1

如果你有足夠的 memory，你可以簡單地在 model.fit 之前加載額外的model.fit ，然后連接所有 arrays 作為輸入數據。 否則，我建議使用keras.utils.Sequence class 來生成輸入數據。