由于资源原因，无法将 model 与我的所有图像和蒙版配合使用

Question

我有一个 U-Net NN，我有一个包含 40k+ 图像的数据集（它们是 numpy arrays，形状为 768x768x3）和 10k+ 掩码到此图像（形状为 768x768x1）。 我的电脑甚至 Kaggle、Google Colab 都无法适应他们的资源。 但是我需要为 model 安装所有这些图像和蒙版。 那么，我需要做什么？ 我考虑过在每次迭代中创建一个包含 400 个图像和 400 个掩码的循环，并且每次将 400 个图像适合我的 model，但我已经读过，在每次迭代中 model 都会“重置”。 那么我需要做些什么才能使我的 model 与所有这些图像和蒙版相匹配？

更新：我已将图像和蒙版的大小更改为 (256,256,3) 和 (256,256,1)，但即使这样，我也可以将 model 与 +/- 1000 个图像相匹配

Answer 1

这是数据科学中非常常见的问题。 没有一个解决方案，它基本上是一个过程。

从以下步骤开始，看看问题是否仍然存在。 找出阻塞的原因，GPU 或 RAM。

• 如果GPU，你需要知道你的model是加载在GPU ZCD69B4957F06CD818D7BF3DZ618里面的。 因此，当 GPU memory 出现问题时，请减小 model 大小或批处理中存在的数据量。
• 如果是 RAM，如果使用 PyTorch，则应查看DataLoaders ；如果使用 Tensorflow/Keras，则应查看Sequence 。 通常，数据像迭代器一样加载，这意味着它只是在请求时才真正加载（使用某种等待队列，您还可以再次指定允许的大小）。 这将使 epoch 变慢，因为您无法将所有数据预先加载到 memory 中以进行快速访问，但您仍然设法迭代数据并照此处理。