解碼器在Keras中具有綁定權重的自動編碼器的權重

Question

我在Keras實施了一個捆綁權重自動編碼器，並成功訓練了它。

我的目標是僅使用自動編碼器的解碼器部分作為另一個網絡的最后一層，以微調網絡和解碼器。

正如你在摘要中看到的那樣，解碼器沒有帶有我的綁定權重實現的參數，所以沒有什么可以微調的。 （ decoder.get_weights()返回[] ）

我的問題是：我是否應該更改綁定權重的實現，以便綁定層仍然可以保持權重，即編碼器的轉置權重？ 如果有，怎么樣？

還是我離開了？

下面是autoencoder模型的摘要以及綁定的Dense層的類（稍微修改自https://github.com/nanopony/keras-convautoencoder/blob/master/autoencoder_layers.py。 ）

---

Layer (type)                     Output Shape          Param #     Connected to                     
====================================================================================================
encoded (Dense)                  (None, Enc_dim)          33000       dense_input_1[0][0]              
____________________________________________________________________________________________________
tieddense_1 (TiedtDense)          (None, Out_Dim)            0           encoded[0][0]                    
====================================================================================================
Total params: 33,000
Trainable params: 33,000
Non-trainable params: 0
________________________________________________________________________


class TiedtDense(Dense):
def __init__(self, output_dim, master_layer, init='glorot_uniform', activation='linear', weights=None,
             W_regularizer=None, b_regularizer=None, activity_regularizer=None,
             W_constraint=None, b_constraint=None, input_dim=None, **kwargs):
    self.master_layer = master_layer
    super(TiedtDense, self).__init__(output_dim, **kwargs)

def build(self, input_shape):
    assert len(input_shape) >= 2
    input_dim = input_shape[-1]
    self.input_dim = input_dim


    self.W = tf.transpose(self.master_layer.W)
    self.b = K.zeros((self.output_dim,))
    self.params = [self.b]
    self.regularizers = []
    if self.W_regularizer:
        self.W_regularizer.set_param(self.W)
        self.regularizers.append(self.W_regularizer)

    if self.b_regularizer:
        self.b_regularizer.set_param(self.b)
        self.regularizers.append(self.b_regularizer)

    if self.activity_regularizer:
        self.activity_regularizer.set_layer(self)
        self.regularizers.append(self.activity_regularizer)

    if self.initial_weights is not None:
        self.set_weights(self.initial_weights)
        del self.initial_weights

Answer 1

自問這個問題以來已經超過2年，但這個答案可能仍然適用於某些人。

Layer.get_weights()函數從self.trainable_weights和self.non_trainable_weights檢索（參見keras.engine.base_layer.Layer.weights ）。 在您的自定義圖層中，權重self.W和self.b未添加到任何這些集合中，這就是圖層具有0參數的原因。

您可以按如下方式調整實現：

class TiedtDense(Dense):
    def __init__(self, output_dim, master_layer, **kwargs):
        self.master_layer = master_layer
        super(TiedtDense, self).__init__(output_dim, **kwargs)

    def build(self, input_shape):
        assert len(input_shape) >= 2
        input_dim = input_shape[-1]
        self.input_dim = input_dim

        self.kernel = tf.transpose(self.master_layer.kernel)
        self.bias = K.zeros((self.units,))
        self.trainable_weights.append(self.kernel)
        self.trainable_weights.append(self.bias)

注意：為了簡單起見，我排除了正則化器和約束條件。 如果您需要，請參閱keras.engine.base_layer.Layer.add_weight 。