如何從圖像中提取特征以訓練 CNN 模型

Question

我正在做一個項目，將廢物分類為塑料和非塑料，僅使用.images 來訓練它們。但是我仍然不知道模型在對它們進行分類時考慮了哪些特征。我正在使用 CNN，但是預測的准確性是仍然達不到標准。 我之所以去CNN，是因為沒有具體的特征來區分塑料和其他塑料。有沒有其他方法可以解決這個問題？ 例如，如果我訓練貓的圖像，我的神經網絡會學習什么是貓，但是我沒有明確給出特征在這里是否同樣有效？

Answer 1

假設您想從預訓練的卷積神經網絡、 VGGNet, VGG16提取特征。

重用卷積基的代碼是：

from keras.applications import VGG16
conv_base = VGG16(weights='imagenet',
include_top=False,
input_shape=(150, 150, 3)) # This is the Size of your Image

最終的特征圖具有形狀 (4, 4, 512)。 這是您將在其上放置一個密集連接的分類器的特征。

有兩種提取特征的方法：

1. 無需數據增強的快速特征提取：在數據集上運行卷積基，將其輸出記錄到磁盤上的 Numpy 數組，然后將此數據用作獨立的、密集連接的分類器的輸入，類似於您在本書第 1 部分中看到的分類器. 這個解決方案運行起來既快速又便宜，因為它只需要為每個輸入圖像運行一次卷積基，而卷積基是迄今為止流水線中最昂貴的部分。 但出於同樣的原因，這種技術不允許您使用數據增強。

使用此方法提取特征的代碼如下所示：

import os
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
base_dir = '/Users/fchollet/Downloads/cats_and_dogs_small'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')
test_dir = os.path.join(base_dir, 'test')
datagen = ImageDataGenerator(rescale=1./255)
batch_size = 20
def extract_features(directory, sample_count):
    features = np.zeros(shape=(sample_count, 4, 4, 512))
    labels = np.zeros(shape=(sample_count))
    generator = datagen.flow_from_directory(directory, target_size=(150, 150),
    batch_size=batch_size, class_mode='binary')
    i=0
    for inputs_batch, labels_batch in generator:
        features_batch = conv_base.predict(inputs_batch)
        features[i * batch_size : (i + 1) * batch_size] = features_batch
        labels[i * batch_size : (i + 1) * batch_size] = labels_batch
        i += 1
        if i * batch_size >= sample_count:
            break
return features, labels
train_features, train_labels = extract_features(train_dir, 2000)
validation_features, validation_labels = extract_features(validation_dir,1000)
test_features, test_labels = extract_features(test_dir, 1000)

train_features = np.reshape(train_features, (2000, 4*4* 512))
validation_features = np.reshape(validation_features, (1000, 4*4* 512))
test_features = np.reshape(test_features, (1000, 4*4* 512))

from keras import models
from keras import layers
from keras import optimizers
model = models.Sequential()
model.add(layers.Dense(256, activation='relu', input_dim=4 * 4 * 512))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer=optimizers.RMSprop(lr=2e-5), 
    loss='binary_crossentropy', metrics=['acc'])
history = model.fit(train_features, train_labels, epochs=30,
batch_size=20, validation_data=(validation_features, validation_labels))

訓練非常快，因為你只需要處理兩個 Dense 層——即使在 CPU 上，一個 epoch 也只需要不到一秒

2. 使用數據增強進行特征提取：通過在頂部添加 Dense 層來擴展您擁有的模型 (conv_base)，並在輸入數據上端到端地運行整個過程。 這將允許您使用數據增強，因為每個輸入圖像每次被模型看到時都會通過卷積基。 但出於同樣的原因，這種技術遠比第一種昂貴

相同的代碼如下所示：

from keras import models
from keras import layers
model = models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,
width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,
zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(train_dir,target_size=(150, 150), batch_size=20, class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=20,
class_mode='binary')
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=2e-5),
metrics=['acc'])
history = model.fit_generator(train_generator, steps_per_epoch=100,   epochs=30, validation_data=validation_generator, validation_steps=50)

更多詳情請參考Keras之父《Francois Chollet》所著《Deep Learning with Python》一書的5.3.1節