如何计算神经网络中的回路？

Question

如果两个节点在神经网络中彼此指向，那么如何防止网络陷入无限循环？

Answer 1

您似乎正在设想的方法是以下方法之一：

calculate a node's new output
for each node that takes that node as input:
    calculate that node's new output

如果节点之间的连接中存在任何循环，则确实会导致无限循环。

节点更新应“同时”进行：

for each node in nodes
  read inputs
  calculate and store new output as node->new_output
for each node in nodes
  node->output = node->new_output

Answer 2

正如我在评论中提到的，有几个因素可能会影响神经网络训练所需的时间（可能无限长）。 如果使用诸如反向传播之类的算法，该算法由一系列矩阵运算，求导和调整神经元权重组成，则称谓中的“循环”概念与前馈同上。 一旦在测试仪上达到期望的误差，通常就可以完成网络训练。 由于反向传播算法是一种非凸优化方法，因此有可能在特定的神经元设置中（例如让它们返回到前一个神经元而不是二分法），训练可能永远不会完成，因为所需的错误级别永远不会达到最佳效果，算法可能会停留在局部最小值。

其他一些神经网络模型，例如具有先天递归结构的RNN，在某些区域中表现很好，但是训练它们并不像简单地进行反向传播那样简单，因此“无限循环”方面在这里也不容易应用。