在 Python 中使用生成器输入 Keras model.fit_generator

Question

我正在学习如何在 Python 中使用生成器并将其输入 Keras model.fit_generator。

from keras.utils import to_categorical
from keras.models import Sequential
from keras.layers import Dense, Conv2D, Flatten
import pandas as pd
import os
import cv2

class Generator:
    def __init__(self,path):
        self.path = path

    def gen(self, feat, labels):
        i=0
        while (True):
            im = cv2.imread(feat[i],0)
            im = im.reshape(28,28,1)
            yield im,labels[i]
            i+=1

if __name__ == "__main__":
    input_dir = './mnist'
    output_file = 'dataset.csv'

    filename = []
    label = []
    for root,dirs,files in os.walk(input_dir):
        for file in files:
            full_path = os.path.join(root,file)
            filename.append(full_path)
            label.append(os.path.basename(os.path.dirname(full_path)))

    data = pd.DataFrame(data={'filename': filename, 'label':label})
    data.to_csv(output_file,index=False)

    feat = data.iloc[:,0]
    labels = pd.get_dummies(data.iloc[:,1]).as_matrix()

    image_gen = Generator(input_dir)

    # #create model
    model = Sequential()
    model.add(Conv2D(64, kernel_size=3, activation="relu", input_shape=(28,28,1)))
    model.add(Conv2D(32, kernel_size=3, activation="relu"))
    model.add(Flatten())
    model.add(Dense(2, activation="softmax"))

    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    model.fit_generator(image_gen.gen(filename,labels), steps_per_epoch=5 ,epochs=5, verbose=1)

我在./mnist文件夹中有 2 ./mnist文件夹，对应于我数据集中的每个类。 我创建了一个 Dataframe，其中包含每个图像的路径和标签（即相应子文件夹的名称）。

我创建了Generator类来加载路径写在 DataFrame 中的图像。

它给了我错误： ValueError: Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (28, 28, 1)

有人可以帮忙吗？ 而且，一般来说，这是实现生成器的正确方法吗？

谢谢！

Answer 1

我认为您的问题的答案可以在 Keras 文档中找到。

就输入形状而言， Conv2D层需要 4 维输入，但您在生成器中明确地将其重塑为(28,28,1) ，因此是 3 维。 关于 Conv2D 信息和输入格式，请参阅此文档。

就生成器本身而言， Keras 文档提供了一个示例，其中生成器是一个函数，这在Python Wiki 中也有讨论。 但是您的特定实现似乎有效，至少在第一次迭代中，如果您达到将数据输入卷积层的程度。