微调 InceptionV3

Question

我想微调 Inception V3 以识别 UC Merced 土地利用数据集。 它包含 21 个类，每个 class 有 100 个图像。 我手动将 Datataset 拆分为 5 折，每个折和每个 class 我有 60 个图像用于训练，20 个用于验证，20 个用于测试。 示例：在每个 class 的第一折中，0 到 59 之间的图像用于训练，60 到 79 之间的图像用于验证 ecc... 在第二折中，0 到 19 之间的图像用于测试，80 之间的图像和 99 用于验证 ecc ......我应用了交叉验证，所以最后我将使用数据集中的所有图像测试网络。

通过这个微调我已经达到了 93%，目标是 97%。

# import
from keras.preprocessing import image
import os
from matplotlib import pyplot as plt
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential, Model
from keras.layers import Conv2D, MaxPooling2D, Activation, Dropout, Flatten, Dense, GlobalAveragePooling2D
from keras import backend as K
from keras import applications
from keras import utils
from keras import optimizers
from sklearn.model_selection import KFold
import random
from keras.preprocessing import image
import os
from matplotlib import pyplot as plt


directory_train=["./UCMerced_LandUse2/Images/Fold1/Training","./UCMerced_LandUse2/Images/Fold2/Training","./UCMerced_LandUse2/Images/Fold3/Training","./UCMerced_LandUse2/Images/Fold4/Training","./UCMerced_LandUse2/Images/Fold5/Training"]
directory_validation=["./UCMerced_LandUse2/Images/Fold1/Validation","./UCMerced_LandUse2/Images/Fold2/Validation","./UCMerced_LandUse2/Images/Fold3/Validation","./UCMerced_LandUse2/Images/Fold4/Validation","./UCMerced_LandUse2/Images/Fold5/Validation"]
directory_test=["./UCMerced_LandUse2/Images/Fold1/Test","./UCMerced_LandUse2/Images/Fold2/Test","./UCMerced_LandUse2/Images/Fold3/Test","./UCMerced_LandUse2/Images/Fold4/Test","./UCMerced_LandUse2/Images/Fold5/Test"]

img_width, img_height = 256, 256

num_samples=2100
batch_size = 10

Datagen = ImageDataGenerator(rescale=1./255,
    shear_range=0.2,        
    zoom_range=0.2,           
    horizontal_flip=True)

Gen = ImageDataGenerator(rescale=1./255)

train_generator=[]
valid_generator=[]
test_generator=[]

print("Creazione Train Generator")

for i in range(5):
  train_generator.append(Datagen.flow_from_directory(
  directory_train[i],
  target_size=(img_width, img_height),  
  batch_size=batch_size, 
  class_mode='categorical'
   ))

print(train_generator[0].n//batch_size)
print("Creazione Validation Generator")

for i in range(5):
  valid_generator.append(Gen.flow_from_directory(
  directory_validation[i],
  target_size=(img_width, img_height),  
  batch_size=batch_size, 
  class_mode='categorical'
   ))

print(valid_generator[i].n//batch_size)

print("Creazione Test Generator")

for i in range(5):
  test_generator.append(Gen.flow_from_directory(
  directory_test[i],
  target_size=(img_width, img_height),  
  batch_size=batch_size, 
  class_mode='categorical'
   ))

# Inception V3 with pre-trained weights
base_model = applications.InceptionV3(weights='imagenet', include_top=False,input_shape=(256,256,3),classes=21)
base_model.trainable=True;


num_epochs = 100
history=[]
risultati=[]


for i in range(5):

  model=Sequential()  
  model.add(base_model)
  model.add(GlobalAveragePooling2D())
  model.add(Dense(1024,activation='relu'))
  model.add(Dropout(0.5))
  model.add(Dense(1024,activation='relu'))
  model.add(Dropout(0.5))
  model.add(Dense(100,activation='relu'))
  model.add(Dropout(0.5))
  model.add(Dense(21,activation='softmax'))
  model.summary()

  model.compile(loss='categorical_crossentropy',
              optimizer=optimizers.SGD(1e-4,momentum=0.9),
              metrics=['accuracy'])

  print(i)
  model.fit_generator(train_generator[i],steps_per_epoch=train_generator[i].n//batch_size,epochs=num_epochs,validation_data=valid_generator[i],validation_steps=valid_generator[i].n//batch_size,shuffle=True)
  model.save('sasaprova.h5')
  print(i)
  scores=model.evaluate_generator(test_generator[i])
  print(scores[1])
  risultati.append(scores[1]*100)


print(np.mean(risultati))

有什么建议么？

Answer 1

很少有可以提高分类精度的：

1. 使用具有噪声学生权重的 EfficientNet。 要训练的参数数量较少。 由于它具有可扩展的架构，它提供了更好的准确性。

2. 您可以使用测试时间增加。 在您的测试数据生成器中，进行简单的水平翻转、垂直翻转（如果数据看起来很真实）和仿射变换。 它将生成数据的多个视图，并帮助 model 平均出更可能的 class。

3. 您的数据扩充可能会更加详尽。 查看 imgaug 库。 此外，还有一些已被证明有用的 random_eraser、剪切和混合策略。

4. 尝试 label 平滑。 它还可以帮助您的分类器为正确的 class 提供更多概率。

5. 尝试学习率预热。