使用 AWS Lambda 在 AWS Sagemaker 上执行 jupyter notebook

Question

我用 Python 做了一个分类器，它使用了很多库。 我已将模型作为 pickle (my_model.pkl) 上传到 Amazon S3。 理想情况下，每次有人将文件上传到特定的 S3 存储桶时，它都应该触发一个 AWS Lambda，该 Lambda 将加载分类器、返回预测并将一些文件保存在 Amazon S3 存储桶上。

我想知道是否可以使用 Lambda 在 AWS SageMaker 中执行 Jupyter Notebook。 这样我就不必担心依赖关系，并且通常会使分类更直接。

那么，有没有办法使用 AWS Lambda 来执行 Jupyter Notebook？

Answer 1

调度笔记本执行有点像 SageMaker 反模式，因为 (1) 您需要自己管理数据 I/O（训练集、训练模型），(2) 您需要自己管理元数据跟踪，(3)您不能在分布式硬件上运行，并且 (4) 您不能使用 Spot。 相反，建议计划任务利用各种 SageMaker 长时间运行的后台作业 API：SageMaker 训练、SageMaker 处理或 SageMaker 批量转换（在批量推理的情况下）。

话虽如此，如果您仍想安排笔记本运行，可以通过多种方式进行：

• 在SageMaker CICD Reinvent 2018 视频中，笔记本作为 Cloudformation 模板启动，它们的执行通过 SageMaker 生命周期配置自动执行。
• AWS 发布了这篇博文以记录如何从处理作业中启动笔记本

但同样，我对计划任务的建议是将它们从 Jupyter 中删除，将它们转换为脚本并在 SageMaker 培训中运行它们

无论您的选择如何，只要函数角色具有适当的权限，所有这些任务都可以作为 API 调用从 Lambda 函数中启动

Answer 2

我同意奥利维尔的观点。 使用 Sagemaker 执行 Notebook 可能不是适合这项工作的工具。

Papermill是以这种方式运行 Jupyter Notebooks 的框架。

你可以考虑试试这个。 这允许您将 Jupyter Notebook 直接部署为无服务器云功能，并在后台使用 Papermill。

免责声明：我为 Clouderizer 工作。

Answer 3

这完全有可能，根本不是反模式。 这实际上取决于您的用例。 AWs 实际上写了一篇很棒的文章来描述它，其中包括一个 lambda