使用flow_from_directory（）使用keras（TensforFlow后端）进行语义图像分割的输入管道（3个标签）

Question

我正在使用keras（TensorFlow后端），并且试图了解如何使用flow_from_directory引入用于图像分割的标签/遮罩（3个标签）。

train_images的尺寸为（144、144、144）-灰度，uint8。 相应的label_images具有相同的尺寸，但此处的值1表示标签1，值2 =标签2，值3 =标签3，值0显示未标签的像素。

由于这是语义分割，因此对图像中的每个像素进行分类需要使用逐像素交叉熵损失函数。 正如我在某些帖子中所读到的那样，keras（或TensorFlow）要求我的label_image / mask是一个热门代码。 因此，我希望我的label_images是具有3个通道的图像，其中每个像素将由一个二进制矢量组成。 示例：[0，1，0]。

如何处理存储为0的未标记像素？ 是否应该将它们编码为[0，0，0]？

但是，我在哪里找不到答案的问题是：如何正确整形/热编码label_images？ keras中有一个方便的函数可以让我转换image_labels吗？

from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale=1. / 255)
label_datagen = ImageDataGenerator(rescale=1. / 255)

train_image_generator = train_datagen.flow_from_directory(
    directory='/train_images',
    target_size=(144, 144, 144),
    color_mode='grayscale',
    classes=None,
    class_mode=None,
    batch_size=4)

train_label_generator = label_datagen.flow_from_directory(
    directory='/label_images',
    target_size=(144, 144, 144),
    color_mode='grayscale',
    classes=None,
    class_mode=None,
    batch_size=4)

train_generator = zip(train_image_generator, train_label_generator)

Answer 1

目前正在从事非常相似的工作，但有10个课程。 尚不完全存在，但是对于您关于keras内置函数的问题，请结帐：

one_hot_array = keras.utils.to_categorical(array_of_label_data, nb_classes)

这将创建您的遮罩/标签数据的一站式矢量。 因此，对于您的情况，假设100个蒙版的预期输出为（100，H，W，3），其中3等于您正在使用的类的数量。 我不确定的是您的蒙版是否有背景，以及如何为数据构建文件夹。 希望能有所帮助。

同样，您的target_size处于关闭状态，这是指图像的尺寸（例如，高度和宽度）。 不应有第三个值。