调整 Sagemaker 管道

Question

是否可以在 Sagemaker 上针对处理作业后跟训练作业的流程（例如，管道）进行超参数优化？

在 Sagemaker 管道中，我看到我可以将调谐器步骤与任何训练步骤一起使用。 但是，我看不到任何将处理作业集成到优化中的有用资源。

关于如何在不将两个步骤合并为一个步骤的情况下完成此任务的任何想法？

在这个相对较老的问题中，它询问的是联合优化 2 个模型。 在这里，我问的是处理和培训工作。

我真的很感激你能提供的任何帮助。

Answer 1

无法为处理器运行HyperparameterTuner ，它需要一个估计器作为输入。 另一方面，您可以将带有超参数的处理逻辑放入适当的 Estimator（例如sklearn ），然后将带有超参数的 output 处理脚本作为人工制品从/opt/ml/model/model.joblib放入 S3 或作为model 人工制品。 完成调整后，只需通过model_dir将其加载到处理器中，您就可以得到具有调整过的超参数的处理器。