設備上沒有剩余空間 [Amazon SageMaker]

Question

我正在 P2.xlarge 實例中訓練我的 model。 當我下載數據集時，出現以下錯誤：“下載或解壓期間出現異常：[Errno 28] 設備上沒有剩余空間”\ 我檢查過 P2.xlarge 有 61GiB 存儲空間，轉換為 64GB。 我的實例中幾乎沒有 5GB 的數據。 你能告訴我如何進行嗎？

Answer 1

默認情況下，無論筆記本實例是哪種類型，它們都具有5GB的存儲空間。 您還可以在/ tmp中使用20GB的非永久性存儲。

https://docs.aws.amazon.com/sagemaker/latest/dg/howitworks-create-ws.html

希望這可以幫助。

Answer 2

感謝您使用Amazon SageMaker。

P2.xlarge上的61GiB是RAM存儲，與任何Notebook實例獲得的持久存儲不同。 目前，默認情況下，無論實例類型如何，每個Notebook實例均具有5 GB的存儲空間。 請注意，僅在此5 GB存儲空間中存儲的數據會在Notebook實例重新啟動期間保留，您還可以在/ tmp中使用〜10 * GB的非永久存儲，但是這些數據不會在Notebook實例重新啟動期間保留。

在旁注中，您也可以將EFS文件系統與SageMaker結合使用，以使Notebook Instance具有更多空間。 關於如何通過Lifecycle操作添加EFS掛載的博客，此處將EFS文件系統掛載到Amazon SageMaker筆記本（具有生命周期配置） 。

讓我們知道是否還有其他方法可以提供幫助。

• 免責聲明：/ tmp中非永久性存儲的可用大小可能會隨時間變化。

• 注意：這看起來像是在AWS論壇上的帖子的重復副本，這里https://forums.aws.amazon.com/thread.jspa?messageID=858201 。

謝謝，
尼拉姆

Answer 3

即使您添加了額外的存儲，SageMaker Notebook 實例上的 docker 也會使用/裝載在默認塊存儲上。 您可以按照此處的說明將 SageMaker 配置為使用另一個目錄（在您的額外存儲設備中）。 通常，您的主目錄 ( /home/ec2-user/SageMaker ) 安裝在這個額外的存儲上

1. 創建~/.sagemaker/config.yaml

2. 在您有更多空間的地方設置一個新的容器根目錄

local:
  container_root: /home/ec2-user/SageMaker/temp