为 tensorflow 多标签分类创建适当的数据集 model：“ValueError：使用序列设置数组元素”

Question

我正在尝试基于此 model 训练多类图像分类 model：

https://tfhub.dev/google/imag.net/inception_v3/feature_vector/5

并从这里获取一些代码：

https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/tf2_image_retraining.ipynb#scrollTo=umB5tswsfTEQ

我的 model 是这样创建的：

model_url = "https://tfhub.dev/google/imagenet/mobilenet_v3_large_075_224/feature_vector/5"  

model = tf.keras.Sequential([
    # Explicitly define the input shape so the model can be properly
    # loaded by the TFLiteConverter
    tf.keras.layers.InputLayer(input_shape=IMAGE_SIZE + (3,)),
    hub.KerasLayer(model_url, trainable=do_fine_tuning),
    tf.keras.layers.Dropout(rate=0.2),
    tf.keras.layers.Dense(len(class_names),
                          kernel_regularizer=tf.keras.regularizers.l2(0.0001))
])

model.build((None,) + IMAGE_SIZE + (3,))
model.summary()

model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=0.005, momentum=0.9),
    loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True, label_smoothing=0.1),
    metrics=['accuracy'])

我的数据来自数据生成器，它从 MongoDB 数据库中提取数据。 数据生成器__data_generation看起来像：

def __data_generation(self, list_paths, list_paths_wo_ext):
    'Generates data containing batch_size samples' # X : (n_samples, *dim, n_channels)
    # Initialization
    num_items = min(self.batch_size, len(list_paths))
    x = np.empty((num_items, self.target_size[1], self.target_size[0], 3))

    y = np.empty((num_items,))

    # Generate data
    for i, ID in enumerate(list_paths):
        # Store sample
        img = Image.open(ID)  # type: Image
        img.load()  # required for png.split()

        if os.path.isfile(resize_cache_path):## Heading ##
            resized = Image.open(resize_cache_path)
            resized.load()
        else:
            resized = img.resize(self.target_size)
            resized.save(resize_cache_path)
        x[i, ] = resized
        y[i, ] = self.targets.loc[ID].values

    return x, y

在y[i, ] = self.targets.loc[ID].values ，我得到了一个ValueError 。

当我下载 colab 使用的示例数据集时，plot 变厚了：

data_dir = tf.keras.utils.get_file(
    'flower_photos',
    'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
    untar=True)

IMAGE_SIZE = (224, 224)

data_dir = tf.keras.utils.get_file(
    'flower_photos',
    'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
    untar=True)


def build_dataset(subset):
    return tf.keras.preprocessing.image_dataset_from_directory(
        data_dir,
        validation_split=.20,
        subset=subset,
        label_mode="categorical",
        # Seed needs to provided when using validation_split and shuffle = True.
        # A fixed seed is used so that the validation set is stable across runs.
        seed=123,
        image_size=IMAGE_SIZE,
        batch_size=1)
    
    
    train_ds = build_dataset("training")
    
    for x, y in train_ds.as_numpy_iterator():
        print(y)

这会打印出如下结果：

[[0。 0. 1. 0. 0.]]

我不知道这如何应用于多标签场景，所以我运行了以下代码：

for x, y in train_ds.as_numpy_iterator():
    total = sum(y[0])
    if total > 1:
        print(total)

没有 output，所以看来要么我误解了，要么这个数据集根本不是多标签的。

我的问题是，如何从我自己的数据库创建自定义多标签数据集以供使用上面列出的 model？

Answer 1

On y[i, ] = self.targets.loc[ID].values I'm getting a ValueError however.

错误说明了什么？ setting an array element with a sequence ？ 在这种情况下，您可能希望通过y = np.empty((num_items, len(class_names)))将y显式初始化为矩阵。 self.targets.loc[ID].values应该是一个长度为len(class_names)的向量，除了指示具有ID的输入样本所属的类的索引外，它在任何地方都为 0。

There was no output, so it appears either I've misunderstood or this dataset simply isn't multilabel.

数据集不是多标签的，因为每个输入图像仅分配给 5 个花类之一 ( https://www.tensorflow.org/tutorials/load_data/images )。 因此，您的循环中没有 output，因为y[0]的总和始终恰好为 1。