在 Keras 上合并两个顺序模型以实现混合模型

Question

我想将两个顺序模型组合成一个混合模型（使用 Keras 2.6.0）。 第一个模型是一组 4 个参数的连续密集层，第二个模型是图像 ((32,32)) 的连续 2D 卷积。 目标是预测 128 个点的曲线。

我的实际模型：

def get_model_v2(params_shape, img_shape):
    params_model = models.Sequential()
    params_model.add(layers.Dense(512, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n1'))
    params_model.add(layers.Dense(512, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n2'))
    params_model.add(layers.Dense(256, name='Output'))
    
    img_model = models.Sequential()
    img_model.add(layers.Input(img_shape, name='InputLayer2'))
    img_model.add(layers.Conv2D(64, kernel_size=4, strides=2, padding="same"))
    img_model.add(layers.LeakyReLU(alpha=0.2))
    img_model.add(layers.Conv2D(16, kernel_size=4, strides=2, padding="same"))
    img_model.add(layers.LeakyReLU(alpha=0.2))
    img_model.add(layers.Flatten())
    
    concat = tf.keras.layers.concatenate([params_model, img_model])

    model = models.Sequential()
    model.add(layers.Input(concat, name='InputLayer3'))
    model.add(layers.Dense(256, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n1'))
    model.add(layers.Dense(128, name='Output'))
    
    model.compile(optimizer = 'adam', 
                  loss      = 'mse', 
                  metrics   = ['mae', 'mse'])
    return model


model = get_model_v2 ( (4,),  (32, 32, 1) )

我的问题是当我必须结合这两个模型时，我不知道该使用什么，对于这个“连接”示例，我有一个错误，例如： TypeError: 'NoneType' object is not subscriptable 。 我理解这个问题，但我找不到其他解决方案......

Answer 1

这里有几个问题，

• 您没有为您的params_model params_shape它的形状未定义）。
• 如您所知，您不能将模型与连接层连接起来
• 最终模型需要通过Functional API
• 您有一堆具有相同名称的层-同一模型中的两个层不能具有相同的名称

import tensorflow.keras.layers as layers
import tensorflow.keras.models as models
import tensorflow.keras.regularizers as regularizers
import tensorflow as tf

def get_model_v2(params_shape, img_shape):
    params_model = models.Sequential()
    params_model.add(layers.Dense(512, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n1', input_shape=params_shape))
    params_model.add(layers.Dense(512, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n2'))
    params_model.add(layers.Dense(256, name='Output'))
    
    img_model = models.Sequential()
    img_model.add(layers.Input(img_shape, name='InputLayer2'))
    img_model.add(layers.Conv2D(64, kernel_size=4, strides=2, padding="same"))
    img_model.add(layers.LeakyReLU(alpha=0.2))
    img_model.add(layers.Conv2D(16, kernel_size=4, strides=2, padding="same"))
    img_model.add(layers.LeakyReLU(alpha=0.2))
    img_model.add(layers.Flatten())
    
    param_out = params_model.outputs[0]
    img_out = img_model.outputs[0]

    concat_out = tf.keras.layers.concatenate([param_out, img_out])

    full_dense_out = layers.Dense(256, kernel_regularizer=regularizers.l2(0.001), activation='relu', name='Dense_n3')(concat_out)
    final_out = layers.Dense(128, name='Output_final')(full_dense_out)
    
    model = models.Model(inputs=[params_model.inputs, img_model.inputs], outputs=final_out)

    model.summary()

    model.compile(optimizer = 'adam', 
                  loss      = 'mse', 
                  metrics   = ['mae', 'mse'])
    return model


model = get_model_v2 ( (4,),  (32, 32, 1) )