TensorFlow：簡單的循環神經網絡

Question

我已經用 TensorFlow 構建了一些神經網絡，比如基本的 MLP 和卷積神經網絡。 現在我想繼續研究循環神經網絡。 但是，我在自然語言處理方面沒有經驗。 因此，RNN 的 TensorFlow NLP 教程對我來說並不容易閱讀（而且也不是很有趣）。

基本上我想從一些簡單的東西開始，而不是 LSTM。

如何在 TensorFlow 中構建一個簡單的循環神經網絡，比如 Elman 網絡？

我只能找到 TensorFlow 的 GRU 或 LSTM RNN 示例，主要用於 NLP。 有誰知道一些簡單的循環神經網絡教程或 TensorFlow 示例？

該圖顯示了一個基本的 Elman 網絡，通常簡稱為 SRN（簡單循環網絡）：

Answer 1

一種選擇是使用位於tensorflow/python/ops/rnn_cell.py 中的內置 RNNCell 。

如果您不想這樣做，您可以制作自己的 RNN。 RNN 將使用時間反向傳播進行訓練。 嘗試將網絡展開固定數量的步驟，例如考慮長度為 10 的輸入序列。 然后你可以在 python 中編寫一個循環來為網絡的每個步驟執行所有矩陣乘法。 每次您都可以獲取上一步的輸出並將其與該步驟的輸入連接起來。 不需要太多的代碼行就可以完成這項工作。