Keras中具有批量歸一化的雙向LSTM

Question

我想知道如何在Keras中實現具有批量標准化（BN）的biLSTM。 我知道BN層應該在線性和非線性之間，即激活。 使用CNN或Dense圖層很容易實現。 但是，如何用biLSTM做到這一點？

提前致謝。

Answer 1

如果要在LSTM的線性輸出上應用BatchNormalization，可以將其作為

from keras.models import Sequential
from keras.layers.recurrent import LSTM
from keras.layers.wrappers import Bidirectional
from keras.layers.normalization import BatchNormalization

model = Sequential()
model.add(Bidirectional(LSTM(128, activation=None), input_shape=(256,10)))
model.add(BatchNormalization())

基本上，您正在刪除LSTM的非線性激活（但不是門激活），然后將BatchNormalization應用於outpus。

如果你想要的是將BatchNormalization應用到LSTM的一個內部流程中，例如循環流，我擔心該功能尚未在Keras中實現。