Python & Tensorflow：数据集如何相乘？

Question

我的目标是训练一个能够将图像分类（0 到 4）的神经网络。 我有自己的数据集，其中包含约 20000 张照片，我使用 ResNet50 作为基础。 但我需要提高它的准确性，所以数据扩充似乎是解决方案。 我有一些 function 会稍微改变图像，但我需要扩大数据集（2x、4x 或 10x...），这样我就会有更多数据。 如果不在我的磁盘上创建副本，我该怎么做？

因此，例如，如果类别如下：

0: 0.jpg, 1.jpg, 2.jpg, ....

1: 0.jpg, 1.jpg, 2.jpg, ....

2: 0.jpg, 1.jpg, 2.jpg, ....

3: 0.jpg, 1.jpg, 2.jpg, ....

...

我需要这个让 NN 看到：

0: 0.jpg, 0_copy0.jpg, 0_copy1.jpg, ....

1: 0.jpg, 0_copy0.jpg, 0_copy1.jpg, ....

2: 0.jpg, 0_copy0.jpg, 0_copy1.jpg, ....

3: 0.jpg, 0_copy0.jpg, 0_copy1.jpg, ....

...

因此，扩充过程将产生足够多的变化。

代码：

import matplotlib.pyplot as plt
import numpy as np
import os
import PIL
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.python.keras.layers import Dense, Flatten
from tensorflow.keras.models import Sequential
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.models import load_model

import matplotlib.pyplot as plt

# tf.config.set_visible_devices([], 'GPU')

DATASET_PATH = "MY_DATASET"
CLASS_NAMES = ["0", "1", "2", "3", "4"]

img_height,img_width=180,180
batch_size=32

data_augmentation = tf.keras. Sequential([
  tf.keras.layers.RandomFlip("horizontal"),
  tf.keras.layers.RandomRotation(0.2),
  tf.keras.layers.RandomContrast(0.3),
  tf.keras.layers.RandomBrightness(0.3)
])

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
  DATASET_PATH,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
  DATASET_PATH,
  validation_split=0.2,
  subset="validation",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)


batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE

def prepare(ds):
  # Use data augmentation only on the training set.
  ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), 
                num_parallel_calls=AUTOTUNE)

  # Use buffered prefetching on all datasets.
  return ds.prefetch(buffer_size=AUTOTUNE)

train_ds = prepare(train_ds)

for idx, img in enumerate(train_ds):
  train_ds[idx] = data_augmentation


resnet_model = Sequential()

pretrained_model= tf.keras.applications.ResNet50(include_top=False,
                   input_shape=(180,180,3),
                   pooling='avg',classes=len(CLASS_NAMES),
                   weights='imagenet')

for layer in pretrained_model.layers:
        layer.trainable=False

resnet_model.add(pretrained_model)
resnet_model.add(tf.keras.layers.Flatten())
resnet_model.add(tf.keras.layers.Dense(512, activation='relu'))
resnet_model.add(tf.keras.layers.Dense(5, activation='softmax'))


resnet_model.compile(optimizer=Adam(lr=0.001),loss='sparse_categorical_crossentropy',metrics=['accuracy'])

class_names = CLASS_NAMES

epochs=5
history = resnet_model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

resnet_model.save("LOCAL_PATH/output.h5", save_format="h5")

fig1 = plt.gcf()
plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.axis(ymin=0,ymax=1)
plt.grid()
plt.title('Model Accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epochs')
plt.legend(['train', 'validation'])
plt.show()

plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.grid()
plt.title('Model Loss')
plt.ylabel('Loss')
plt.xlabel('Epochs')
plt.legend(['train', 'validation'])
plt.show()

Answer 1

您可以使用标准或自定义函数预处理 tf 数据集。 例如，您可以使用1中的选项 2：

aug_ds = train_ds.map(lambda x, y: (resize_and_rescale(x, training=True), y))

查看如何对 TensorFlow 数据集进行数据扩充。：

TensorFlow 图像数据增强