多輸出Keras模型中消失的尺寸

Question

當我嘗試訓練如下所述的自動編碼器時，收到一個錯誤，即在將形狀（ 256、28、28、1 ）的目標數組用作形狀（None， 0、28、1 ）的輸出時傳遞了目標數組`binary_crossentropy。 這種損失預計目標將具有與輸出相同的形狀。” 輸入和輸出尺寸都應為（28,28,1），其中256為批次大小。 運行.summary（）確認解碼器模型的輸出正確（28、28、1），但是當編碼器和解碼器一起編譯時，這似乎有所改變。 知道這里發生了什么嗎？ 生成網絡時，將依次調用這三個功能。

def buildEncoder():
    input1 = Input(shape=(28,28,1))
    input2 = Input(shape=(28,28,1))
    merge = concatenate([input1,input2])
    convEncode1 = Conv2D(16, (3,3), activation = 'relu', padding = 'same')(merge)
    maxPoolEncode1 = MaxPooling2D(pool_size=(2, 1))(convEncode1)
    convEncode2 = Conv2D(16, (3,3), activation = 'sigmoid', padding = 'same')(maxPoolEncode1)
    convEncode3 = Conv2D(1, (3,3), activation = 'sigmoid', padding = 'same')(convEncode2)
    model = Model(inputs = [input1,input2], outputs = convEncode3)
    model.compile(loss='binary_crossentropy', optimizer=adam)
    return model

def buildDecoder():
    input1 = Input(shape=(28,28,1))
    upsample1 = UpSampling2D((2,1))(input1)
    convDecode1 = Conv2D(16, (3,3), activation = 'relu', padding = 'same')(upsample1)
    crop1 = Cropping2D(cropping = ((0,28),(0,0)))(convDecode1)
    crop2 = Cropping2D(cropping = ((28,0),(0,0)))(convDecode1)
    convDecode2_1 = Conv2D(16, (3,3), activation = 'relu', padding = 'same')(crop1)
    convDecode3_1 = Conv2D(16, (3,3), activation = 'relu', padding = 'same')(crop2)
    convDecode2_2 = Conv2D(1, (3,3), activation = 'sigmoid', padding = 'same')(convDecode2_1)
    convDecode3_2 = Conv2D(1, (3,3), activation = 'sigmoid', padding = 'same')(convDecode3_1)
    model = Model(inputs=input1, outputs=[convDecode2_2,convDecode3_2])
    model.compile(loss='binary_crossentropy', optimizer=adam)
    return model

def buildAutoencoder():   
    autoInput1 = Input(shape=(28,28,1))
    autoInput2 = Input(shape=(28,28,1))
    encode = encoder([autoInput1,autoInput2])
    decode = decoder(encode)
    model = Model(inputs=[autoInput1,autoInput2], outputs=[decode[0],decode[1]])
    model.compile(loss='binary_crossentropy', optimizer=adam)
    return model

運行model.summary（）函數可確認此對象的最終輸出尺寸

Answer 1

看起來您的編碼器中形狀計算錯誤。 您假設解碼器將獲得（None，28，28，1），但您的編碼器實際輸出（None，14，28，28，1）。

print(encoder) # Tensor("model_1/conv2d_3/Sigmoid:0", shape=(?, 14, 28, 1), dtype=float32)

現在，在您的解碼器中，您正在裁剪等，假設您有（28，28，1）可能會將其切為0。這些模型是獨立工作的，連接它們時會發生不匹配的情況。