我们如何在 AWS sagemaker 管道中编排和自动化数据移动和数据转换

Question

我正在使用 Sagemaker 和 Step 函数将我们的 ML 笔记本从 Azure Databricks 迁移到 AWS 环境。 我有单独的笔记本用于数据处理、特征工程和 ML 算法，我想在完成上一个笔记本后按顺序运行。 你能帮我显示使用 AWS 步骤按顺序执行 sagemaker notebooks 的任何资源吗？

Answer 1

对于这种类型的架构，您还需要涉及 aws 的一些其他元素。 可能有助于实现此目的的其他服务是使用 eventbridge（预定规则）的组合，它将执行 lambda，然后到达 sagemaker，您可以在其中执行笔记本。

Answer 2

一项新功能允许您将Amazon SageMaker Studio 笔记本作为计划的笔记本作业进行操作。 不幸的是，目前还没有办法将它们连接到一个管道中。
另一种选择是将您的笔记本转换为处理和训练作业，并使用 AWS Step Functions 或 SageMaker Pipelines 之类的东西将它们作为管道运行。