[英]Keras embedding layer causing dimensionality problems
我目前正在嘗試使用keras功能API構建的序列到序列自動編碼器中包含一個嵌入層。
模型代碼如下所示:
#Encoder inputs
encoder_inputs = Input(shape=(None,))
#Embedding
embedding_layer = Embedding(input_dim=n_tokens, output_dim=2)
encoder_embedded = embedding_layer(encoder_inputs)
#Encoder LSTM
encoder_outputs, state_h, state_c = LSTM(n_hidden, return_state=True)(encoder_embedded)
lstm_states = [state_h, state_c]
#Decoder Inputs
decoder_inputs = Input(shape=(None,))
#Embedding
decoder_embedded = embedding_layer(decoder_inputs)
#Decoder LSTM
decoder_lstm = LSTM(n_hidden, return_sequences=True, return_state=True, )
decoder_outputs, _, _ = decoder_lstm(decoder_embedded, initial_state=lstm_states)
#Dense + Time
decoder_dense = TimeDistributed(Dense(n_tokens, activation='softmax'), input_shape=(None, None, 256))
#decoder_dense = Dense(n_tokens, activation='softmax', )
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
該模型是這樣訓練的:
model.fit([X, y], X, epochs=n_epoch, batch_size=n_batch)
X和y的形狀為(n_samples,n_seq_len)
模型的編譯工作完美無缺,而在嘗試訓練時,我將始終得到:
ValueError:檢查目標時出錯:預期time_distributed_1具有3個維度,但數組的形狀為(n_samples,n_seq_len)
有人有主意嗎?
Keras版本是2.2.4
Tensorflow后端版本1.12.0
在這樣的自動編碼器中,由於最后一層是softmax分類器,因此您需要對標簽進行一次熱編碼:
from keras.utils import to_categorical
one_hot_X = to_categorical(X)
model.fit([X, y], one_hot_X, ...)
附帶說明一下,由於Dense層應用在最后一個軸上 ,因此無需將Dense
層包裝在TimeDistributed
層中。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.