由於資源原因，無法將 model 與我的所有圖像和蒙版配合使用

Question

我有一個 U-Net NN，我有一個包含 40k+ 圖像的數據集（它們是 numpy arrays，形狀為 768x768x3）和 10k+ 掩碼到此圖像（形狀為 768x768x1）。 我的電腦甚至 Kaggle、Google Colab 都無法適應他們的資源。 但是我需要為 model 安裝所有這些圖像和蒙版。 那么，我需要做什么？ 我考慮過在每次迭代中創建一個包含 400 個圖像和 400 個掩碼的循環，並且每次將 400 個圖像適合我的 model，但我已經讀過，在每次迭代中 model 都會“重置”。 那么我需要做些什么才能使我的 model 與所有這些圖像和蒙版相匹配？

更新：我已將圖像和蒙版的大小更改為 (256,256,3) 和 (256,256,1)，但即使這樣，我也可以將 model 與 +/- 1000 個圖像相匹配

Answer 1

這是數據科學中非常常見的問題。 沒有一個解決方案，它基本上是一個過程。

從以下步驟開始，看看問題是否仍然存在。 找出阻塞的原因，GPU 或 RAM。

• 如果GPU，你需要知道你的model是加載在GPU ZCD69B4957F06CD818D7BF3DZ618里面的。 因此，當 GPU memory 出現問題時，請減小 model 大小或批處理中存在的數據量。
• 如果是 RAM，如果使用 PyTorch，則應查看DataLoaders ；如果使用 Tensorflow/Keras，則應查看Sequence 。 通常，數據像迭代器一樣加載，這意味着它只是在請求時才真正加載（使用某種等待隊列，您還可以再次指定允許的大小）。 這將使 epoch 變慢，因為您無法將所有數據預先加載到 memory 中以進行快速訪問，但您仍然設法迭代數據並照此處理。