如何将 jupyter notebook 训练代码转换为 sagemaker 流水线步骤？

Question

我是 sagemaker 管道的新手，正在研究如何不仅在 jupyter notebook 中训练模型，而且我想在 sagamaker studio 中将其设置为 sagemaker 管道。 我尝试并遵循了一些基于此处提供的博客/文档的示例 -> https://aws.amazon.com/blogs/machine-learning/hugging-face-on-amazon-sagemaker-bring-your-own-scripts-and -数据/

并且能够在 sagemaker 的 jupyter notebook 中运行这些步骤，但是如果我想设置一个 sagemaker 管道并创建训练步骤，我如何将这些转换为 sagemaker 管道步骤，在 sagemaker 管道中做类似的任何示例或博客/工作室会有帮助吗？

Answer 1

虽然有一种方法可以将 jupyter notebook 转换为 python 脚本，但这不足以将在 notebook 上下文中编写的代码转换为管道上下文。

唯一保持完整的是编写为entry_point的脚本，通常用于训练/推理/处理（除非进行任何微小的内部调整，例如对使用的环境变量进行调整，这些变量可能以不同方式存在于管道上下文中）。

---

这个官方指南在我看来是最完整的先决条件：“ Amazon SageMaker Model Building Pipeline ”

接下来您可以看到一个相当重复的应用程序场景，同样在官方指南中：“ Orchestrate Jobs to Train and Evaluate Models with Amazon SageMaker Pipelines ”

---

通过设置您的管道的名称，一旦它启动，您将看到它作为一个图表显示在 SageMaker Studio 中运行的各种状态。

您可能已经在笔记本中编写了数据操作代码。 请记住，管道由步骤组成，因此如果不将此步骤本身理解为一个步骤（例如处理步骤），就无法在步骤之间操作数据。 因此，重新调整的最大代码更改可能是这部分。