4D 張量形狀

Question

我正在閱讀一本機器學習書籍，並在 CNN 章節中看到了這一點。

卷積層的權重表示為形狀為 [fh, fw, fn', fn] 的 4D 張量。 卷積層的偏置項簡單地表示為形狀 [fn] 的一維張量。 其中 fh 是感受野的高度，fw 是感受野的寬度。 fn' 是前一層的特征圖的數量，fn 是當前層的特征圖的數量。

我試圖了解給定順序中的每個數字的含義。 它是否創建了一個秩為 4 的矩陣，其中每個條目表示將前一層的 output 神經元與指定特征 map 和感受野中的位置連接到當前輸出神經元的權重？

Answer 1

fn' ：

它表示前一層中的通道數，也間接指定當前層中每個kernels的depth （或通道）。

fn ：

它表示當前層中特征圖的數量，即當前層中不同kernels的數量。 因為每個 kernel 輸出單通道。

fw ：

它代表kernel寬度。

fh :

它代表kernel高度。

假設[fh, fw, fn′, fn] = [3, 3, 10, 20]那么 layer(weight) 的大小將是20x10x3x3 。 每個 kernel 的大小為10x3x3 （其中3x3是空間，10 是深度），並且將有 20 個這樣的內核。 這些內核在之前的20特征映射上運行到 output 10特征映射。

並且這個代表weight的4d矩陣中的每個條目都將被共享。 由於convolution ，它doesn't one to one連接神經元。 卷積的主要優勢本身就是parameter sharing和感受野/局部連通性。