如何在 SageMaker Studio 中监控 Jupyterlab notebook？

Question

我想知道是否有一种方法可以监控 SageMaker Studio 笔记本的日志。 笔记本实例（16GB 内存）运行良好，但有时 kernel 在加载大数据集时死机。 UI 中唯一的 output 是 kernel 已经从busy变为idle但是没有办法真正看到正在运行的笔记本的 kernel 的日志以及它为什么死了。

我通过切换到更大的实例（128GB 内存）来进行测试，并且数据集已正确加载。 运行df.info()显示数据集仅使用 memory 的4.0GB ，应该可以用 16GB 的实例加载。

所以我想知道是否有一种方法可以监视或查看当前笔记本的运行日志，或者是否有必要更改笔记本的环境以允许加载更大的数据集而不杀死 kernel。

Answer 1

需要考虑的几件事：

1. 您无法访问 SageMaker Studio 中的实例日志。
2. 您无需为 4 GB 的数据集更改实例类型。
3. kernel 正在通过Studio 图像运行。 该图像正在 EC2 实例上运行一个容器您可以在 Studio 中检查应用程序的运行状态。 因此，当您切换实例类型时，将启动一个新实例并在新实例上运行图像并呈现 kernel，因此 kernel 的 state 将丢失。

查看下面的 Studio 屏幕截图：

查看下面的 Studio 屏幕截图：

我还有一个问题：

1. 为什么要加载笔记本memory中的数据？ 是否用于探索性数据分析？ 您知道可以使用SageMaker Data Wrangler或SageMaker Processing进行数据预处理吗？

如果您需要更多信息，请告诉我。

[编辑]：如果您希望在预处理期间完全控制依赖关系，并希望构建一个可重复使用您的代码运行多次的容器，SageMaker Processing 是您的最佳选择。 您可以在这里阅读更多相关信息： https://docs.aws.amazon.com/sagemaker/latest/dg/use-your-own-processing-code.html

SageMaker 官方示例存储库中也提供了大量示例： https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker_processing