4D 张量形状

Question

我正在阅读一本机器学习书籍，并在 CNN 章节中看到了这一点。

卷积层的权重表示为形状为 [fh, fw, fn', fn] 的 4D 张量。 卷积层的偏置项简单地表示为形状 [fn] 的一维张量。 其中 fh 是感受野的高度，fw 是感受野的宽度。 fn' 是前一层的特征图的数量，fn 是当前层的特征图的数量。

我试图了解给定顺序中的每个数字的含义。 它是否创建了一个秩为 4 的矩阵，其中每个条目表示将前一层的 output 神经元与指定特征 map 和感受野中的位置连接到当前输出神经元的权重？

Answer 1

fn' ：

它表示前一层中的通道数，也间接指定当前层中每个kernels的depth （或通道）。

fn ：

它表示当前层中特征图的数量，即当前层中不同kernels的数量。 因为每个 kernel 输出单通道。

fw ：

它代表kernel宽度。

fh :

它代表kernel高度。

假设[fh, fw, fn′, fn] = [3, 3, 10, 20]那么 layer(weight) 的大小将是20x10x3x3 。 每个 kernel 的大小为10x3x3 （其中3x3是空间，10 是深度），并且将有 20 个这样的内核。 这些内核在之前的20特征映射上运行到 output 10特征映射。

并且这个代表weight的4d矩阵中的每个条目都将被共享。 由于convolution ，它doesn't one to one连接神经元。 卷积的主要优势本身就是parameter sharing和感受野/局部连通性。