[英]running out of ram in google colab while importing dataset in array
我想在一个数组中存储大约 2400 张大小为 2000**2000*3 的图像,以提供卷积神经网络。 但是,由于内存不足,Google Colab session 不断崩溃。
我导入图像数据集的代码:
Train_data = []
for img in sorted(glob.glob("path/*.jpg")):
image= mpimg.imread(img)
image=np.array(image , dtype='float32')
image /= 255.
Train_data.append(image)
Train_data = np.array(Train_data)
有两种方法可以避免 RAM 错误:
第一个选项:将图像调整为较小的尺寸
import cv2
Train_data = []
for img in sorted(glob.glob("path/*.jpg")):
image= mpimg.imread(img)
image=np.array(image , dtype='float32')
image = cv2.resize(image, (150,150))
image /= 255.
Train_data.append(image)
Train_data = np.array(Train_data)
第二种选择:您可以使用比迭代器消耗更少 memory 的生成器,因为它不存储整个列表。
Train_data = []
def gen_images():
for img in sorted(glob.glob("path/*.jpg")):
image= mpimg.imread(img)
image=np.array(image , dtype='float32')
image /= 255.
yield image
for image in gen_images():
Train_data.append(image)
非常感谢您的出色回答。 我尝试生成器,没关系。 但是,当我尝试下面的代码时,我不会面临崩溃:
Train_data =np.empty(shape=(num,m,n,c), dtype=np.float32)
i=0
for img in sorted(glob.glob("path/*.jpg")):
image= mpimg.imread(img)
image=np.array(image , dtype='float32')
image /= 255.
Train_data[i,:,:,:] = image
i+=1
任何人都可以比较这个代码和我第一个使用 append 的代码在空间复杂度方面吗?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.