如果在使用函数式 API 构建的多输入/输出 Keras 模型中使用生成器，它应该返回什么？

Question

在这篇文章之后，我正在尝试实现一个生成式 RNN。 在提到的文章中，训练和验证数据作为满载np.array传递。 但我正在尝试使用model.fit_generator方法并提供一个生成器。

我知道如果它是一个简单的模型，生成器应该返回：

def generator():
    ...
    yield (samples, targets)

但这是一个生成模型，这意味着涉及两个模型：

encoder_inputs = Input(shape=(None,))
x = Embedding(num_encoder_tokens, embedding_dim)(encoder_inputs)
x.set_weights([embedding_matrix])
x.trainable = False
x, state_h, state_c = LSTM(embedding_dim, return_state=True)(x)
encoder_states = [state_h, state_c]

decoder_inputs = Input(shape=(None,))
x = Embedding(num_decoder_tokens, embedding_dim)(decoder_inputs)
x.set_weights([embedding_matrix])
x.trainable = False
x = LSTM(embedding_dim, return_sequences=True)(x, initial_state=encoder_states)
decoder_outputs = Dense(num_decoder_tokens, activation='softmax')(x)

model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=batch_size,
          epochs=epochs,
          validation_split=0.2)

如前所述，我正在尝试使用生成器：

model.fit_generator(generator(),
                   steps_per_epoch=500,
                   epochs=20,
                   validation_data=generator(),
                   validation_steps=val_steps)

但是generator()应该返回什么？ 我有点困惑，因为有两个输入集合和一个目标。

Answer 1

由于您的模型有两个输入和一个输出，因此生成器应该返回一个包含两个元素的元组，其中第一个元素是一个包含两个数组的列表，它对应于两个输入层，第二个元素是一个对应于输出层的数组：

def generator():
    ...
    yield [input_samples1, input_samples2], targets

通常，在具有M输入和N输出的模型中，生成器应返回两个列表的元组，其中第一个列表有M数组，第二个列表有N数组：

def generator():
        ...
        yield [in1, in2, ..., inM], [out1, out2, ..., outN]

如果不是使用 Python 生成器，而是使用Sequence类的实例来生成数据，则格式相同，唯一的区别是您将在__getitem__方法中使用return而不是yield 。