TensorFlow：简单的循环神经网络

Question

我已经用 TensorFlow 构建了一些神经网络，比如基本的 MLP 和卷积神经网络。 现在我想继续研究循环神经网络。 但是，我在自然语言处理方面没有经验。 因此，RNN 的 TensorFlow NLP 教程对我来说并不容易阅读（而且也不是很有趣）。

基本上我想从一些简单的东西开始，而不是 LSTM。

如何在 TensorFlow 中构建一个简单的循环神经网络，比如 Elman 网络？

我只能找到 TensorFlow 的 GRU 或 LSTM RNN 示例，主要用于 NLP。 有谁知道一些简单的循环神经网络教程或 TensorFlow 示例？

该图显示了一个基本的 Elman 网络，通常简称为 SRN（简单循环网络）：

Answer 1

一种选择是使用位于tensorflow/python/ops/rnn_cell.py 中的内置 RNNCell 。

如果您不想这样做，您可以制作自己的 RNN。 RNN 将使用时间反向传播进行训练。 尝试将网络展开固定数量的步骤，例如考虑长度为 10 的输入序列。 然后你可以在 python 中编写一个循环来为网络的每个步骤执行所有矩阵乘法。 每次您都可以获取上一步的输出并将其与该步骤的输入连接起来。 不需要太多的代码行就可以完成这项工作。