如何从图像中提取特征以训练 CNN 模型

Question

我正在做一个项目，将废物分类为塑料和非塑料，仅使用.images 来训练它们。但是我仍然不知道模型在对它们进行分类时考虑了哪些特征。我正在使用 CNN，但是预测的准确性是仍然达不到标准。 我之所以去CNN，是因为没有具体的特征来区分塑料和其他塑料。有没有其他方法可以解决这个问题？ 例如，如果我训练猫的图像，我的神经网络会学习什么是猫，但是我没有明确给出特征在这里是否同样有效？

Answer 1

假设您想从预训练的卷积神经网络、 VGGNet, VGG16提取特征。

重用卷积基的代码是：

from keras.applications import VGG16
conv_base = VGG16(weights='imagenet',
include_top=False,
input_shape=(150, 150, 3)) # This is the Size of your Image

最终的特征图具有形状 (4, 4, 512)。 这是您将在其上放置一个密集连接的分类器的特征。

有两种提取特征的方法：

1. 无需数据增强的快速特征提取：在数据集上运行卷积基，将其输出记录到磁盘上的 Numpy 数组，然后将此数据用作独立的、密集连接的分类器的输入，类似于您在本书第 1 部分中看到的分类器. 这个解决方案运行起来既快速又便宜，因为它只需要为每个输入图像运行一次卷积基，而卷积基是迄今为止流水线中最昂贵的部分。 但出于同样的原因，这种技术不允许您使用数据增强。

使用此方法提取特征的代码如下所示：

import os
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
base_dir = '/Users/fchollet/Downloads/cats_and_dogs_small'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')
test_dir = os.path.join(base_dir, 'test')
datagen = ImageDataGenerator(rescale=1./255)
batch_size = 20
def extract_features(directory, sample_count):
    features = np.zeros(shape=(sample_count, 4, 4, 512))
    labels = np.zeros(shape=(sample_count))
    generator = datagen.flow_from_directory(directory, target_size=(150, 150),
    batch_size=batch_size, class_mode='binary')
    i=0
    for inputs_batch, labels_batch in generator:
        features_batch = conv_base.predict(inputs_batch)
        features[i * batch_size : (i + 1) * batch_size] = features_batch
        labels[i * batch_size : (i + 1) * batch_size] = labels_batch
        i += 1
        if i * batch_size >= sample_count:
            break
return features, labels
train_features, train_labels = extract_features(train_dir, 2000)
validation_features, validation_labels = extract_features(validation_dir,1000)
test_features, test_labels = extract_features(test_dir, 1000)

train_features = np.reshape(train_features, (2000, 4*4* 512))
validation_features = np.reshape(validation_features, (1000, 4*4* 512))
test_features = np.reshape(test_features, (1000, 4*4* 512))

from keras import models
from keras import layers
from keras import optimizers
model = models.Sequential()
model.add(layers.Dense(256, activation='relu', input_dim=4 * 4 * 512))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer=optimizers.RMSprop(lr=2e-5), 
    loss='binary_crossentropy', metrics=['acc'])
history = model.fit(train_features, train_labels, epochs=30,
batch_size=20, validation_data=(validation_features, validation_labels))

训练非常快，因为你只需要处理两个 Dense 层——即使在 CPU 上，一个 epoch 也只需要不到一秒

2. 使用数据增强进行特征提取：通过在顶部添加 Dense 层来扩展您拥有的模型 (conv_base)，并在输入数据上端到端地运行整个过程。 这将允许您使用数据增强，因为每个输入图像每次被模型看到时都会通过卷积基。 但出于同样的原因，这种技术远比第一种昂贵

相同的代码如下所示：

from keras import models
from keras import layers
model = models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,
width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,
zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(train_dir,target_size=(150, 150), batch_size=20, class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=20,
class_mode='binary')
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=2e-5),
metrics=['acc'])
history = model.fit_generator(train_generator, steps_per_epoch=100,   epochs=30, validation_data=validation_generator, validation_steps=50)

更多详情请参考Keras之父《Francois Chollet》所著《Deep Learning with Python》一书的5.3.1节