AWS SageMaker 训练脚本：如何传递自定义用户参数

Question

我正在使用 Scikit-learn 和 SageMaker Python SDK 训练分类器。
整个过程包括三个连续的阶段：

1. 使用训练和验证数据集的超参数调整工作
2. 使用在 1. 中建立的最佳超参数和整个数据集（从 1. 开始的训练 + 验证）进行训练
3. 使用 2. 提供的“prefit”model 和用于校准的附加数据集训练校准后的 model。

我需要拆分流程的原因是为了保存在步骤 2 中创建的未校准的 model。

对于这一步中的每一步，我都准备了一个训练脚本，如下所述： https://sagemaker.readthedocs.io/en/stable/using_sklearn.html#prepare-a-scikit-learn-training-script

这三个脚本非常相似，为了避免代码冗余，我想在这三种情况下使用一个带有附加逻辑的脚本。 更准确地说，我想将额外的自定义参数传递给sagemaker.tuner.HyperparameterTuner和sagemaker.sklearn.estimator.SKLearn对象的.fit方法，以便能够根据使用情况（阶段1. ,2. 或 3.).

我已经尝试破解SM_CHANNEL_XXX
调用parser.add_argument('--myparam', type=str, default=os.environ.get('SM_CHANNEL_MYPRAM')) .fit(inputs={'train': ..., 'test': ..., 'myparam': myvalue})但它需要一个有效的 s3 URI。

关于如何将额外的自定义参数传递给训练脚本的任何想法？

Answer 1

根据此处看到的 Sagemaker 文档，您可以通过以下方式将训练脚本中的超参数作为命令行 arguments 访问，例如：

parser = argparse.ArgumentParser()
parser.add_argument('--epochs', type=int, default=10)
parser.add_argument('--batch_size', type=int, default=100)
parser.add_argument('--learning_rate', type=float, default=0.1)

Answer 2

您可以不在 fit 方法中传递超参数，而是在创建估计器之前直接传递超参数。 文档中的示例是：

sklearn_estimator = SKLearn('sklearn-train.py',
                        train_instance_type='ml.m4.xlarge',
                        framework_version='0.20.0',
                        hyperparameters = {'epochs': 20, 'batch-size': 64, 'learning- 
rate': 0.1})
sklearn_estimator.fit({'train': 's3://my-data-bucket/path/to/my/training/data',
                    'test': 's3://my-data-bucket/path/to/my/test/data'})

这就是您将参数（从笔记本中）带入训练脚本以通过 parser.add_argument 访问的方式。 如果您只有一个脚本，您可以在脚本中处理您的逻辑。 但这不会向 sagemaker.tuner.HyperparameterTuner 的 .fit 方法添加自定义参数。

我使用以下序列来优化脚本中的参数，然后应用最佳参数（也仅使用一个训练脚本）。 也许您将此应用于您的案例。 您应该能够在脚本中使用 joblib.dump 保存中间模型：

param_grid = [{'vect__ngram_range': [(1, 1)],
           'vect__stop_words': [stop, None],
           'clf__penalty': ['l1', 'l2'],
           'clf__C': [1.0, 10.0, 100.0]},
          {'vect__ngram_range': [(1, 1)],
           'vect__stop_words': [stop, None],
           'vect__use_idf':[False],
           'vect__norm':[None],
           'clf__penalty': ['l1', 'l2'],
           'clf__C': [1.0, 10.0, 100.0]},
          ]

lr_tfidf = Pipeline([('vect', tfidf),
                 ('clf', LogisticRegression(random_state=0))])

gs_lr_tfidf = GridSearchCV(lr_tfidf, param_grid,
                       scoring='accuracy',
                       cv=5,
                       verbose=1,
                       n_jobs=-1)


gs_lr_tfidf.fit(X_train, y_train)