使用 AWS Lambda 在 AWS Sagemaker 上執行 jupyter notebook

Question

我用 Python 做了一個分類器，它使用了很多庫。 我已將模型作為 pickle (my_model.pkl) 上傳到 Amazon S3。 理想情況下，每次有人將文件上傳到特定的 S3 存儲桶時，它都應該觸發一個 AWS Lambda，該 Lambda 將加載分類器、返回預測並將一些文件保存在 Amazon S3 存儲桶上。

我想知道是否可以使用 Lambda 在 AWS SageMaker 中執行 Jupyter Notebook。 這樣我就不必擔心依賴關系，並且通常會使分類更直接。

那么，有沒有辦法使用 AWS Lambda 來執行 Jupyter Notebook？

Answer 1

調度筆記本執行有點像 SageMaker 反模式，因為 (1) 您需要自己管理數據 I/O（訓練集、訓練模型），(2) 您需要自己管理元數據跟蹤，(3)您不能在分布式硬件上運行，並且 (4) 您不能使用 Spot。 相反，建議計划任務利用各種 SageMaker 長時間運行的后台作業 API：SageMaker 訓練、SageMaker 處理或 SageMaker 批量轉換（在批量推理的情況下）。

話雖如此，如果您仍想安排筆記本運行，可以通過多種方式進行：

• 在SageMaker CICD Reinvent 2018 視頻中，筆記本作為 Cloudformation 模板啟動，它們的執行通過 SageMaker 生命周期配置自動執行。
• AWS 發布了這篇博文以記錄如何從處理作業中啟動筆記本

但同樣，我對計划任務的建議是將它們從 Jupyter 中刪除，將它們轉換為腳本並在 SageMaker 培訓中運行它們

無論您的選擇如何，只要函數角色具有適當的權限，所有這些任務都可以作為 API 調用從 Lambda 函數中啟動

Answer 2

我同意奧利維爾的觀點。 使用 Sagemaker 執行 Notebook 可能不是適合這項工作的工具。

Papermill是以這種方式運行 Jupyter Notebooks 的框架。

你可以考慮試試這個。 這允許您將 Jupyter Notebook 直接部署為無服務器雲功能，並在后台使用 Papermill。

免責聲明：我為 Clouderizer 工作。

Answer 3

這完全有可能，根本不是反模式。 這實際上取決於您的用例。 AWs 實際上寫了一篇很棒的文章來描述它，其中包括一個 lambda