如何为 CNN 提供 tf.data.Dataset

Question

我是 tensorflow 的新手。 我正在尝试为猫和狗之间的二元分类运行卷积神经网络。

数据的结构是这样的：在一个名为data的目录中，有两个子目录： test和train 。 在每个子目录中有两个（子）子目录，称为cat和dog 。

我要做的是使用 tf.data.Dataset 导入图像并运行 CNN 对它们进行分类。

Following the approach suggested in this ref ( https://towardsdatascience.com/tf-data-creating-data-input-pipelines-2913461078e2 ) I could import the data as a Dataset object and separate it between image and label (I'm不确定是否正确，我只是按照上面链接中提出的方法。顺便问一下，有什么方法可以检查分离和标记过程是否正确执行？）：

from glob import glob
import tensorflow as tf

IMAGE_PATH_LIST = glob('/Users/josea/Desktop/Deep_Learning/cats_dogs/training/*/*.jpg')
DATA = tf.data.Dataset.list_files(IMAGE_PATH_LIST)

def load_images(path):
    
    image = tf.io.read_file(path)
    image = tf.io.decode_image(image)
    label = tf.strings.split(path, os.path.sep)[-2]
    return image, label

DATA= DATA.map(load_images)

我有几个问题：首先，当我尝试运行 CNN 时（使用下面的脚本），它给出了一条错误消息“层序 4 的输入 0 与层不兼容：预期 ndim=4，发现 ndim=3。完整收到的形状：[None, 265, 3]”。

有人猜我做错了什么？ 此外，我想检查数据是否正确导入。 有什么好的方法来评估吗？

我的 CNN 尝试如下所示：

model = Sequential()

model.add(Conv2D(64, (3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2,2)))

model.add(Conv2D(64, (3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size = (2,2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))

model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss = 'binary_crossentropy', optimizer = 'adam', metrics = ['accuracy'])

model.fit(DATA)

提前致谢！

Answer 1

您需要批量处理数据：

DATA= DATA.map(load_images).batch(16)

您可能会遇到错误，因为您的目标似乎是一个字符串。 您可以像这样使用 function 将路径转换为 label：

def load_images(path):
    image = tf.io.read_file(path)
    image = tf.io.decode_jpeg(image)
    image = tf.image.convert_image_dtype(image, tf.float32)
    image = tf.image.resize(image, (224, 224))

    parts = tf.strings.split(path, os.path.sep)
    bool_values = tf.equal(parts[-2], 'cats')
    indices = tf.cast(bool_values, tf.int32)
    return image, indices

完整示例：

import tensorflow as tf
import os
os.chdir('pictures')

files = tf.data.Dataset.list_files('*jpg')

def load_images(path):
    image = tf.io.read_file(path)
    image = tf.io.decode_jpeg(image)
    image = tf.image.convert_image_dtype(image, tf.float32)
    image = tf.image.resize(image, (224, 224))

    parts = tf.strings.split(path, os.path.sep)
    bool_values = tf.equal(parts[-2], 'cats')
    indices = tf.cast(bool_values, tf.int32)
    return image, indices

ds = files.map(load_images).batch(1)

next(iter(ds))

(<tf.Tensor: shape=(1, 224, 224, 3), dtype=float32, numpy=
 array([[[[0.75831336, 0.8016107 , 0.72746104],
          [0.8311225 , 0.87016815, 0.79833937],
          [0.79161674, 0.8425971 , 0.77475995],
          ...,
          [0.08725347, 0.10316982, 0.11867575],
          [0.09943968, 0.1140053 , 0.1350136 ],
          [0.1064626 , 0.12102822, 0.14707875]]]], dtype=float32)>,
 <tf.Tensor: shape=(1,), dtype=int32, numpy=array([0])>)