如何使用Keras培訓的嵌入式層？

Question

我的模型是：

        model = Sequential()
        model.add(Embedding(input_dim=vocab_size,
                            output_dim=1024, input_length=self.SEQ_LENGTH))

        model.add(LSTM(vocab_size))

        model.add(Dropout(rate=0.5))
        model.add(Dense(vocab_size - 1, activation='softmax'))

而且我訓練有素。 但是現在在推理期間，我如何使用該嵌入？

Answer 1

您的問題在這里已解決。 作為骨架，您可以使用以下代碼：

from tensorflow.python.keras.preprocessing.text import Tokenizer

tokenizer_obj = Tokenizer()
tokenizer_obj.fit_on_texts(your_dataset) 

...

max_length = max_number_words
X_test_tokens = tokenizer_obj.texts_to_sequences(X_test)
X_test_pad = pad_sequences(X_test_tokens, maxlen=max_length, padding='post')

score, acc = model.evaluate(X_test_pad, y_test, batch_size=128)