如何清除 AWS SageMaker 上笔记本实例的持久存储？

Question

因此，我在尝试保存时在 AWS SageMaker 上遇到以下错误：

保存文件时出现意外错误：untitled.ipynb [Errno 28] 设备上没有剩余空间

如果我删除我的笔记本，创建一个新的相同的笔记本并运行它，一切正常。 但是，我怀疑如果我在笔记本运行时保存它，Jupyter 检查点会占用太多空间，因此空间不足。 可悲的是，获得更多存储空间对我来说不是一个选项，所以我想知道在运行我的笔记本之前是否有任何命令可以用来清除存储空间？

更具体地说，在训练过程的开始和结束时清除持久性存储。

我像疯子一样在谷歌上搜索，但除了“只是增加存储量兄弟”之外没有任何建议，这就是我在这里问这个问题的原因。

提前致谢！

Answer 1

如果您不希望您的数据在多个笔记本运行中保持不变，只需将它们存储在非持久的/tmp中。 您至少有 10GB。 更多细节在这里。

Answer 2

我遇到了完全相同的问题，并且无法在网上找到合适的答案。 但是，幸运的是我能够解决这个问题。

我使用的是 R kernel，因此解决方案可能略有不同。

您可以检查终端中的存储并键入db -kh您可能安装在 /home/ec2-user/SageMaker 上并且可以看到它的“大小”、“已使用”、“可用性”和“使用%”。

有隐藏文件夹function作为回收站。 当我使用 R 命令list.dirs()时，它会显示一个名为 ./.Trash-1000/ 的文件夹，其中保存了很多随机的东西，这些东西据说已经从存储中删除了。 我刚刚删除了文件夹unlink('./.Trash-1000/', recursive = T)并且释放了整个存储空间。

希望能帮助到你。