难以理解权重矩阵或 theta 矩阵的维度是 3X4 吗？

Question

我正在关注 Andrew Ng 的 Ml 课程和神经网络第 4 周幻灯片，在谈到模态表示 1 时，他提到权重矩阵的维度是 3X4，如下所示：

我知道有一个公式告诉如果在第 j 层中有 Sj 节点和在 j+1 层中有 sj+1 个节点，那么从 j 到 j+1 层的矩阵映射的维度将为 S(j+ 1) X (Sj + 1)。

但我不知道公式是怎么来的，因此无法理解上面的例子。

Answer 1

Theta（权重）矩阵的大小为（输出 x 输入）。

输入包括偏置单元。

output 不包括偏置单元。

在图中，它将是 [3 x (3+1)]。 这里额外的 1 是添加到输入的偏置单元。

因此，简单的公式是 S(j+1) X (Sj + 1)，即 3 x (3+1)

Answer 2

从图中我们了解到：

1. j 是层数
2. sj 是对应第 j 层的节点数。

例如，在第一层，j=1，节点数，sj=3。

在所示的架构中，我们有三层。

1. 输入层（j=1 和 s1 =3）
2. 隐藏层（j=2 和 s2 =3）
3. Output 层（j=3 和 s3 =1）

现在，theta 是层之间的权重矩阵。 Theta 也称为权重或参数。我们有三层，因此有两个矩阵，theta1 和 theta2。

weight_matrix1(Theta1) 映射在输入层和隐藏层之间

weight_matrix2(Theta2) 映射在隐藏层和 output 层之间

按公式：

权重矩阵 1 的维度（在 s2 和 s1 之间）= s2 * (s1+1) = 3 *(3+1) = 3 * 4

权重矩阵 2 的维度（在 s3 和 s2 之间）= s3 * (s2+1) = 1 *(3+1) = 1 * 4

我们加 1 来解释偏置层 x0。 对于矩阵乘法，matrix1 中的行数应该等于 matrix2 中的列数。 在这个例子中，我们知道 layer1 的维度和 layer 2 的维度，我们从中计算 weight_matrix theta 的维度。