Autoencoder 中的綁定權重

Question

我一直在研究自動編碼器，並且一直想知道是否使用綁定權重。 我打算將它們堆疊起來作為預訓練步驟，然后使用它們的隱藏表示來饋送神經網絡。

使用未綁定的權重，它看起來像：

f(x)=σ ₂ ( b ₂ + W ₂ *σ ₁ ( b ₁ + W ₁ *x))

使用綁定的權重，它看起來像：

f(x)=σ ₂ ( b ₂ + W ₁ ^T *σ ₁ ( b ₁ + W ₁ *x))

從一個非常簡單的角度來看，是否可以說綁定權重可以確保編碼器部分在給定架構的情況下生成最佳表示，而如果權重是獨立的，那么解碼器可以有效地采用非最佳表示並仍然對其進行解碼？

我問是因為如果解碼器是“魔法”發生的地方，而我打算只使用編碼器來驅動我的神經網絡，那不會有問題。

Answer 1

具有綁定權重的自動編碼器有一些重要的優點：

1. 學習起來更容易。
2. 在線性情況下，它與 PCA 等效 - 這可能會導致幾何上更充分的編碼。
3. 綁定權重是一種正則化。

但是當然 - 它們並不完美：當您的數據來自高度非線性流形時，它們可能不是最佳的。 根據您的數據的大小，我會嘗試兩種方法 - 使用綁定權重，如果可能的話，不要嘗試。

更新：

您還問了為什么來自具有嚴格權重的自動編碼器的表示可能比沒有的更好。 當然，這種表示並非總是更好，但如果重構誤差是合理的，那么編碼層中的不同單元表示的東西可能被視為垂直特征的生成器，這些特征解釋了數據中的大部分差異（就像 PCA做）。 這就是為什么這種表示在進一步的學習階段可能非常有用的原因。

Answer 2

主要優勢是：

1. 更少的參數可以更好地泛化（我們在下一層使用轉置原始權重）與導致過度擬合的更多參數。