在 python 中使用 MapDataset 在训练/验证中拆分我的数据集

Question

大家好我在详细说明图像和标签之后遇到了一个问题。 为了创建一个独特的数据集，我使用了 zip function。经过详细说明，图像和标签都是 18k 并且是正确的，但是当我调用 zip(image,labels) 时，项目变为 563。这里有一些代码可以让你理解：

# Map the load_and_preprocess_image function over the dataset of image paths
images = image_paths.map(load_and_preprocess_image)
# Map the extract_label function over the dataset of image paths
labels = image_paths.map(extract_label)    
# Zip the labels and images together to create a dataset of (image, label) pairs
#HERE SOMETHING STRANGE HAPPENS
data = tf.data.Dataset.zip((images,labels))
# Shuffle and batch the data
data = data.shuffle(buffer_size=1000).batch(32)
# Split the data into train and test sets
data = data.shuffle(buffer_size=len(data))
# Convert the dataset into a collection of data
num_train = int(0.8 * len(data))
train_data = image_paths.take(num_train)
val_data = image_paths.skip(num_train)

我看不出错误在哪里。 你能帮我吗？ 谢谢

我想要一个包含 18k 图像、标签的数据集

Answer 1

1. tf 的 zip

tf.data.Dataset.zip与 Python 的zip 。 tf.data.Dataset.zip的输入是tf datasets 。 您可以检查从 map function 返回的图像/标签是否正确tf.Dataset object。

2. 检查 tf.ds

确保您的图像/标签是正确的 tf.ds。

print("ele: ", images_dataset.element_spec)
print("num: ", images_dataset.cardinality().numpy())
print("ele: ", labels_dataset.element_spec)
print("num: ", labels_dataset.cardinality().numpy())

3. 解决方法

在您的情况下，将图像和 label 处理组合在一个 map function 中，并将两者返回以绕过使用tf.data.Dataset.zip ：

# load_and_preprocess_image_and_label
def load_and_preprocess_image_and_label(image_path):
    """ load image and label then some operations """
    return image, label

# Map the load_and_preprocess_image function over the dataset of image/label paths
train_list = tf.data.Dataset.list_files(str(PATH / 'train/*.jpg'))
data = train_list.map(load_and_preprocess_image_and_label,
                                  num_parallel_calls=tf.data.AUTOTUNE)