Keras中的雙向LSTM句子填空

Question

我目前正在研究 RNN，特別是 LSTM，我試圖弄清楚如何實現雙向 LSTM 來填補句子中缺失的單詞。 我對要傳遞給 model 的擬合方法的火車組的結構有疑問。 如果我的句子列表是由這樣的元素組成的：“HI GUYS，<MISSING> ARE YOU？” 而我的目標 label 是“HOW”，BI-LSTM 怎么能理解它必須預測缺失值而不是句子的下一個元素？ 我在這里看到雙向 LSTM 的優點是能夠查看過去和未來的標記以獲取有關上下文的信息並更好地預測目標，但我仍然不知道如何在實踐中實現這一點。 所以我的問題是：

1. 我的火車組的結構是什么？
2. BI-LSTM 是否知道要預測什么標記，還是我必須指定它？ 如何？

Answer 1

BI-LSTM 如何理解它必須預測缺失值而不是句子的下一個元素？

如果你訓練它，那么它應該“理解”你想要它做什么。

1. 您的訓練集將是句子中的單詞列表（以正確的順序），沒有丟失的單詞。 您還可以選擇用缺失詞標記替換缺失的單詞，這樣 model 就少了一項任務。 老實說，有很多方法可以做到這一點。 y將是缺失的單詞。

2. 我不太明白你在這里的意思，但我相信我已經在第一個答案中回答了。