autograd 可以處理在計算圖的相同深度中重復使用同一層嗎？

Question

我有一個工作如下的網絡：輸入分成兩半； 前半部分通過一些卷積層l1 ，然后后半部分通過相同的層l1 （在計算輸入的前半部分的輸出之后），然后將兩個輸出表示連接並通過附加層l2一次。 現在我的問題（類似於Can autograd in pytorch 處理在同一模塊中重復使用層？但與另一個問題中的設置不完全相同，同一層在計算圖的不同深度中被重用，而在這里，同一層在同一深度內使用兩次）是：autograd 是否正確處理此問題？ 即l1的反向傳播誤差是相對於它的兩個前向傳遞計算的，並且權重是同時適應這兩個？

Answer 1

Autograd 不在乎你“使用”了多少次。 這不是它的工作方式。 它只是在依賴關系的幕后構建一個圖，使用兩次只會生成一個不是線的圖，但不會影響其執行。