神經網絡基礎理解和可視化

Question

我正在寫一本書，它從一開始就描述了神經網絡，甚至沒有使用 numpy 函數來乘以向量等。

所以我有以下代碼：

weights = [0.1, 0.2, 0]

def w_sum(a, b):            # weighted sum function
    assert(len(a) == len(b))
    output = 0
    for i in range(len(a)):
        output += (a[i] * b[i])
    return output

def neural_network(input, weights):
    pred = w_sum(input, weights)     #the weighted sum function with values = dot product
    return pred



info1 = [8.5, 9.5, 9.9, 9.0]
info2 = [0.65, 0.8, 0.8, 0.9]
info3 = [1.2, 1.3, 0.5, 1.0]

input = [info1[0], info2[0], info3[0]]
pred = neural_network(input, weights)

print(pred)

所以對於這段代碼我也有下圖：神經網絡基本結構

現在：該圖右側的這三個結中的網絡是什么？ 對我來說，輸出似乎是相同的數字（在這種情況下，因為我使用的是input = [info1[0], info2[0], info3[0]]數字是：0.98）？

為什么是這個圖？ 書中給出。 但實際發生的情況，如果它們都輸出相同的數字（加權和等於 0.85 + 0.13 + 0.0 = 0.98）

我的意思是我試圖理解這張圖想告訴我什么或者我如何閱讀它。

我想更多地了解 w_sum(a, b) 函數的實際運作方式。 我不明白正在發生的事情的結構，尤其是 assert 函數在做什么。

編輯：所以在有啟發性的答案之后，我更新了圖表，它實際上應該如何看待代碼。

非常感謝和最良好的祝願

本傑明

Answer 1

該圖（幾乎）描述了全連接神經網絡的一般結構（它缺少激活函數）。

該圖右側的這三個結中的網絡是什么？

數字。 從上一層派生的信息。 這些數字實際上意味着什么，以及網絡如何處理信息，在直觀的層面上，這是一個困難得多的問題，你很少得到答案（一些 CNN 已被分解以顯示圖像是如何通過網絡轉換的，每層提取什么樣的特征）。 如果您僅嘗試在操作級別（即每一層中發生哪些數學運算）而不是它為什么工作，那么您會嘗試了解網絡是如何工作的，這對您來說會好得多。

至於實現，函數w_sum()計算兩個向量（列表） a和b的點積。 它的實現基於點積的數學定義。 此外，對於要定義的點積，向量需要具有相同數量的分量（維度）。 為了保證這一點，首先使用assert語句。 如果您不熟悉它的作用，請在 此處閱讀。

這里令人困惑的一點是實現並沒有完全反映圖表。 對於這個實現，正確的圖表在第二層上只有一個節點（第一個）。

最后要注意的是，列表info0 、 info1 、 info2保存了第一層中節點在時間i 。 所以，在時間 0，輸入向量（第一層中所有節點的值）是[info1[0], info2[0], info3[0]] ，在時間 1 是[info1[1], info2[1], info3[1]]等

Answer 2

好的，讓我們從 assert 函數開始，它用於測試輸入是否包含 3 個數字，因為這是網絡接受的形狀，否則它將引發錯誤並且程序將崩潰。

從圖中看來，您現在只關心第一個輸出，這是您擁有的唯一權重，代碼中的網絡是圖，輸出中沒有其他 2 個節點，只有一個。 順便說一下，這是簡單的感知器模型。 它試圖告訴你，稍后你可以堆疊許多這些迷你模型來創建一個更大的模型。

w_sum() 方法實際上只是對輸入進行加權求和，這就是簡單模型的工作方式，因此它執行 input1 * w1 i+ input2 * w2 + input3 * w3 在這種情況下 w 是模型的權重，輸入是在函數中傳遞了什么

Answer 3

到目前為止，您得到的是一個非常簡單的神經網絡，這似乎是學習更高級神經網絡的良好開端。 它沒有隱藏層，也沒有激活函數。 所以是的，它目前沒有多大作用，這只是網絡即將推出的功能的基礎。

似乎您理解圖表試圖告訴您的內容。 目前沒有什么比每個輸出的加權總和更重要的了。

assert語句只是檢查輸入的數量與權重的數量是否相關。 w_sum所做的就是將每個input的總和乘以它的weight並返回它。