在隱藏層中使用 softmax，在 output 層中使用 relu 進行 CNN 回歸

Question

我正在創建一個 CNN，以根據測量的光譜 (2D) 預測應用於光纖的分布應變，理想情況下，該光譜是洛倫茲曲線。 label 是一維陣列，其中只有應變部分不為零（label 看起來像方波）。

我的 CNN 有 10 個交替的卷積和池化層，全部由 RelU 激活。 然后是 3 個帶有 softmax 激活的全連接隱藏層，然后是由 RelU 激活的 output 層。 通常，CNN 和其他神經網絡將 RelU 用於隱藏層，然后將 softmax 用於 output 層（在分類問題的情況下）。 但是在這種情況下，我使用softmax首先確定施加應變的光纖的位置（即非零），然后使用output中的RelU進行回歸。 我的 CNN 能夠相當准確地預測標簽，但我找不到任何支持出版物，其中 softmax 用於隱藏層，其次是 output 層中的 RelU； 除了我在 Quora/Stackoverflow 中找到的方法之外，為什么不推薦這種方法（即在數學上不可能）。 如果有人能在這件事上給我啟發，我將不勝感激，因為我對深度學習還很陌生，並希望從中學習。 先感謝您！

Answer 1

如果你看一個層 l 看到前一層 l-1 的輸入的方式，它假設特征向量的維度是線性獨立的。

如果 model 正在使用一組神經元建立某種置信度，那么這些神經元最好是線性獨立的，否則它只是誇大了 1 個神經元的值。

如果您在隱藏層中應用 softmax，那么您實際上是在組合多個神經元並篡改它們的獨立性。 此外，如果您查看首選 ReLU 的原因是因為它可以為您提供更好的梯度，而其他激活（如 sigmoid）不會。 此外，如果您的目標過於向圖層添加規范化，則最好使用顯式批量規范化層