我可以使用 tf.keras.utils.image_dataset_from_directory 的 output 来训练自动编码器吗？

Question

简而言之，我希望能够使用从本地图像目录创建的 keras 数据集来训练自动编码器。 澄清一下，这是一个 model，它近似于图像的身份 function：理想情况下，output 与输入完全相等。

数据集太大，无法放入 memory，因此使用 np.concatenate 将数据集转换为 numpy 数组对我没有帮助。

或者换句话说，我想要一个身份图像数据集，其中数据集中每个图像的 label 正好等于图像本身。

这是我的（非工作）示例代码：

train_ds, validate_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  labels=None,
  validation_split=0.1,
  subset="both",
  shuffle=True,
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size,
  crop_to_aspect_ratio=True)

history = autoencoder.fit(
  x=train_ds,
  y=train_ds,
  validation_data=(validate_ds, validate_ds),
  epochs=epochs,
  batch_size=16
)

image_dataset_from_directory function 为我提供了一个没有标签的图像数据集。 到目前为止，一切都很好。

第二个命令失败并显示错误消息：

ValueError: `y` argument is not supported when using dataset as input.

另一方面，如果我排除 y 变量，我会得到这个错误：

ValueError: Target data is missing. Your model was compiled with loss=binary_crossentropy, and therefore expects target data to be provided in `fit()`.

这一点也不奇怪，因为没有标签，正如我要求的那样。 但它不会让我使用数据集作为标签，这是我需要做的。

任何帮助，将不胜感激。

Answer 1

虽然有修改数据集的方法，但我认为最好的选择是编写自定义 model class。这是根据官方教程修改的：

class Autoencoder(tf.keras.Model):
    def train_step(self, data):
        # Unpack the data. Its structure depends on your model and
        # on what you pass to `fit()`.
        x = data  # CHANGE 1: changed from x, y = data

        with tf.GradientTape() as tape:
            y_pred = self(x, training=True)  # Forward pass
            # Compute the loss value
            # (the loss function is configured in `compile()`)
            loss = self.compiled_loss(x, y_pred, regularization_losses=self.losses)  # CHANGE 2: replaced y by x as label

        # Compute gradients
        trainable_vars = self.trainable_variables
        gradients = tape.gradient(loss, trainable_vars)
        # Update weights
        self.optimizer.apply_gradients(zip(gradients, trainable_vars))
        # Update metrics (includes the metric that tracks the loss)
        self.compiled_metrics.update_state(x, y_pred)  # CHANGE 3: like change 2
        # Return a dict mapping metric names to current value
        return {m.name: m.result() for m in self.metrics}

    def test_step(self, data):
        # CHANGED in the same way
        x = data
        # Compute predictions
        y_pred = self(x, training=False)
        # Updates the metrics tracking the loss
        self.compiled_loss(x, y_pred, regularization_losses=self.losses)
        # Update the metrics.
        self.compiled_metrics.update_state(x, y_pred)
        # Return a dict mapping metric names to current value.
        # Note that it will include the loss (tracked in self.metrics).
        return {m.name: m.result() for m in self.metrics}

这是针对功能性 API ( tf.keras.Model )。 如果您使用的是Sequential model，则应该继承它。 您可以将其用作普通 model 构造函数的直接替换。

另一种选择是使用train_zipped = tf.data.Dataset.zip((train_ds, train_ds))创建一个input, target数据集，您可以将其直接放入通常的 model 和损失 function 中。就我个人而言，我不喜欢复制。 另外，我不确定这对于打乱后的数据是否会正确运行（ train_ds的两个副本是否会以相同的方式打乱？）。
您可以通过在image_dataset_from_directory中设置shuffle=False来规避此问题，然后改用train_zipped = train_zipped.shuffle(buffer_size) 。 但是，根据我的经验，这非常慢。

Answer 2

调用 model.fit() 方法时目标数据丢失，如此错误通知所示。 二元交叉熵损失 function 用于模型的构建，因此在训练期间，model 期望接收目标数据以计算损失并更新其权重。

在执行model.fit()方法时，必须提供目标数据才能解决这个问题。 通过向 fit() 方法提供第二个参数，例如 model.fit(X, y)，其中 X 表示输入数据，y 表示目标数据，这可以实现。 y 的形式应与您模型的 output 的形式相对应。

如果您使用的是顺序 model，则必须确保在训练期间已传递目标变量，并且 model 的最后一层具有适当数量的神经元，这与您要预测的类数相对应。

在调用 model.fit() function 之前，请确保目标数据可用且格式正确。