如何正確降低火車上的學習率

Question

我正在訓練一個神經網絡，我想在訓練時降低學習率。 我目前正在使用ReduceLROnPlateau提供的 ReduceLROnPlateau function。 但隨后它達到了耐心因素，它只是停止並且不繼續訓練。

我想降低學習率並保持網絡訓練。

這是我的代碼。

optimizer=k.optimizers.Adam(learning_rate=1e-5)
model.compile(loss='categorical_crossentropy',
            optimizer=optimizer,
            metrics=['acc'])


learningRate=callbacks.callbacks.ReduceLROnPlateau(monitor='val_acc', verbose=1, mode='max',factor=0.2, min_lr=1e-8,patience=7)

model.fit_generator(generator=training_generator,
                        validation_data=validation_generator,
                        steps_per_epoch=1000,
                        epochs=30,
                        validation_steps=1000,
                        callbacks=[learningRate]
                         )

Answer 1

您正在使用EarlyStopping停止訓練。

我想降低學習率並保持網絡訓練，但不知道該怎么做。

如果你想要這個然后刪除EarlyStopping 。