Python 由於 RAM 已滿而在訓練期間崩潰

Question

我正在嘗試在 Arch Linux 上的 pytorch 中訓練神經網絡進行 CT 掃描。經過幾次 3D 卷積后，我的 RAM 很快就填滿了，然后 python 崩潰了，沒有出現錯誤消息。 當它作為腳本運行或在 Jupyter notebook 中運行時，都會發生這種情況。 我嘗試添加一個交換分區，以便在我的 RAM 耗盡之前給自己多一點時間，但交換分區也很快填滿，一旦填滿，我的程序就會再次崩潰。

這也發生在我的 ubuntu 安裝上，所以我懷疑它與我的系統配置有什么關系。 解決這個問題的唯一方法是減少我一次使用的 memory 的數量嗎？ 如果是這樣，我將如何做到這一點 go ？

Answer 1

這就是為什么您需要使用DataLoader object。在torch.utils.data.DataLoader中找到它。