多層的多重激活函數（神經網絡）

Question

我的神經網絡有一個二元分類問題。

我已經在我的隱藏層中使用 ReLU 激活 function 和 output 層中的 sigmoid function 得到了很好的結果。 現在我正在努力獲得更好的結果。 我使用 ReLU 激活 function 添加了第二個隱藏層，結果變得更好。 我嘗試對第二個隱藏層使用泄漏的 ReLU function 而不是 ReLU function 並獲得了更好的結果，但我不確定這是否允許。

所以我有這樣的東西： 隱藏層 1：ReLU 激活 function 隱藏層 2：泄漏 ReLU 激活 function 隱藏層 3：sigmoid 激活 ZC1C425268E68385D1AB5079

我在上面找不到很多資源，而且我發現的那些總是在所有隱藏層上使用相同的激活 function。

Answer 1

如果你指的是 Leaky ReLU，我可以說，實際上，Parametric ReLU (PReLU) 是激活 function，它推廣了傳統的 rectified unit 以及leaky ReLU。 是的，PReLU 改進了 model 擬合，沒有顯着的額外計算成本和過擬合風險。

有關更多詳細信息，您可以查看此鏈接Delving Deep into Rectifiers