autograd 可以处理在计算图的相同深度中重复使用同一层吗？

Question

我有一个工作如下的网络：输入分成两半； 前半部分通过一些卷积层l1 ，然后后半部分通过相同的层l1 （在计算输入的前半部分的输出之后），然后将两个输出表示连接并通过附加层l2一次。 现在我的问题（类似于Can autograd in pytorch 处理在同一模块中重复使用层？但与另一个问题中的设置不完全相同，同一层在计算图的不同深度中被重用，而在这里，同一层在同一深度内使用两次）是：autograd 是否正确处理此问题？ 即l1的反向传播误差是相对于它的两个前向传递计算的，并且权重是同时适应这两个？

Answer 1

Autograd 不在乎你“使用”了多少次。 这不是它的工作方式。 它只是在依赖关系的幕后构建一个图，使用两次只会生成一个不是线的图，但不会影响其执行。