如何在神经网络中建模for循环

Question

我目前正在学习神经网络，可以理解基本的例子，比如AND，OR，Addition，Multiplication等。

现在，我正在尝试构建一个带有两个输入x和n的神经网络，并计算pow（x，n）。 并且，这将需要神经网络具有某种形式的循环，我不知道如何用循环建模网络

这种计算可以在神经网络上建模吗？ 我假设它有可能..基于最近发布的论文（神经图灵机），但不知道如何。 任何关于此的指针都会非常有帮助。

谢谢！

Answer 1

前馈神经网络不是图灵完备的，特别是它们不能模拟任意顺序的循环。 但是，如果您修复了要处理的最大n ，那么您可以设置一个体系结构，该体系结构可以模拟最多重复n次的循环。 例如，您可以很容易地想象每个层可以在循环中充当一个迭代，因此您可能需要n层。

对于可以使图灵完备的更通用的架构，您可以使用递归神经网络（RNN） 。 这一类中的一个流行实例是Hochreiter和Schmidhuber所谓的Long短期记忆（LSTM）网络。 然而，训练此类RNN与训练经典前馈网络有很大不同。

Answer 2

正如您所指出的， 神经图灵机似乎能够很好地学习基本算法。 例如，本文中已经实现的重复复制任务可能告诉我们NTM可以学习算法本身。 截至目前，NTM仅用于简单任务，因此使用pow（x，n）来理解其范围将是有趣的，因为重复复制效果很好。 我建议阅读强化学习神经图灵机 - 修改以加深理解。

此外， Memory Networks领域的最新发展使我们能够执行更复杂的任务。 因此，为了使神经网络理解pow（x，n）可能是可能的。 所以继续吧！