使用Sigmoid代替Tanh激活功能失敗-神經網絡

Question

我正在看這個博客中的以下代碼

它提供了同時使用sigmoid和tanh激活功能的選項。

XOR測試似乎可以很好地配合tanh函數產生〜 (0,1,1,0)

但是在更改為sigmoid我得到了錯誤的輸出〜 (0.5,0.5,0.5,0.5)

我用網上找到的另一段代碼嘗試了此操作，並且發生了完全相同的問題。

似乎唯一改變的是激活函數（及其派生函數）。 更改此設置是否需要其他更改（例如反向傳播）？

非常感謝您的幫助！

Answer 1

看起來您使用的模型不會訓練偏見。 tanh和sigmoid之間的唯一區別是縮放和偏移。 學習新的縮放比例將通過權重完成，但是您還需要學習補償新的偏移量，這也應該通過學習偏差來完成。