如何在不让我的电脑死机的情况下加载一堆图像进行深度学习

Question

我有一堆 tiff 图像，我的目标是将这些图像加载到一个 numpy 数组中，以便在 python 3 的 keras 模型中使用它。问题是当我将图像转换为数组时，我的计算机死机了。 我首先尝试将图像转换为数组并以 HDF5 格式保存所有内容，现在我尝试仅保存 1000 个图像，然后使用 gc.collect() 函数释放一些内存，然后执行相同的过程，直到出现没有留下图像，但效果不佳。

所以我想知道一种将这些图像放入我的模型的有效方法。 我这里有大约 50.000 张图片。 你能帮助我吗？

Answer 1

我认为您可以使用 Tensorflow 数据管道来有效地加载和使用图像。 这是一个可能对您有用的示例脚本。 阿苏

files = tf.data.Dataset.list_files('./*.tiff') # need to change path to point image directory
images = files.map(lambda f: tf.io.read_file(f))
images = images.map(lambda image: tf.io.decode_jpeg(image))

如果您想做任何预处理，以下内容可能对您有所帮助。

images = images.map(lambda image: tf.cast(tf.image.resize(image, (128, 128)), tf.uint8))
images = images.map(lambda image: tf.cast(image, tf.float32) / 255)

您可能需要对数据集进行混洗、重复、批处理

有关更多信息，请查看Tensorflow 网站中的tf.data 页面