難以理解權重矩陣或 theta 矩陣的維度是 3X4 嗎？

Question

我正在關注 Andrew Ng 的 Ml 課程和神經網絡第 4 周幻燈片，在談到模態表示 1 時，他提到權重矩陣的維度是 3X4，如下所示：

我知道有一個公式告訴如果在第 j 層中有 Sj 節點和在 j+1 層中有 sj+1 個節點，那么從 j 到 j+1 層的矩陣映射的維度將為 S(j+ 1) X (Sj + 1)。

但我不知道公式是怎么來的，因此無法理解上面的例子。

Answer 1

Theta（權重）矩陣的大小為（輸出 x 輸入）。

輸入包括偏置單元。

output 不包括偏置單元。

在圖中，它將是 [3 x (3+1)]。 這里額外的 1 是添加到輸入的偏置單元。

因此，簡單的公式是 S(j+1) X (Sj + 1)，即 3 x (3+1)

Answer 2

從圖中我們了解到：

1. j 是層數
2. sj 是對應第 j 層的節點數。

例如，在第一層，j=1，節點數，sj=3。

在所示的架構中，我們有三層。

1. 輸入層（j=1 和 s1 =3）
2. 隱藏層（j=2 和 s2 =3）
3. Output 層（j=3 和 s3 =1）

現在，theta 是層之間的權重矩陣。 Theta 也稱為權重或參數。我們有三層，因此有兩個矩陣，theta1 和 theta2。

weight_matrix1(Theta1) 映射在輸入層和隱藏層之間

weight_matrix2(Theta2) 映射在隱藏層和 output 層之間

按公式：

權重矩陣 1 的維度（在 s2 和 s1 之間）= s2 * (s1+1) = 3 *(3+1) = 3 * 4

權重矩陣 2 的維度（在 s3 和 s2 之間）= s3 * (s2+1) = 1 *(3+1) = 1 * 4

我們加 1 來解釋偏置層 x0。 對於矩陣乘法，matrix1 中的行數應該等於 matrix2 中的列數。 在這個例子中，我們知道 layer1 的維度和 layer 2 的維度，我們從中計算 weight_matrix theta 的維度。