[英]Issue in Deep learning while backpropagation. (Python)
似乎無法弄清楚這個簡單的2層網絡的問題。 前進過程似乎沒有錯誤,但是,我無法弄清楚如何計算w1,w2和b1的成本,它們是第一層的權重和偏差。
//forward
z1 = point[0]*w1 + point[1]*w2 + b1
z2 = sigmoid(z1)*w3 + b2
pred = sigmoid(z2)
//backward
z2_d_cost = 2 * (pred-target)
z2_d_pred = sigmoid_p(z2)
z2_cost_pred = z2_d_cost * z2_d_pred
w3 = w3 - z2*lrate*z2_cost_pred
b2 = b2 - lrate*z2_cost_pred
z1_d_pred = sigmoid_p(z1) * z2_cost_pred * w3
w1 = w1 - point[0]*lrate*z1_d_pred
w2 = w2 - point[1]*lrate*z1_d_pred
b1 = b1 - lrate*z1_d_pred
Nvm想通了。 一個簡單的錯誤,應該是w3 = w3-z1 * lrate * z2_cost_pred
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.