如何在AWS SageMaker中加载训练集以构建模型？

Question

我是SageMaker的新手。 第一次互动时，AWS SageMaker似乎要求您从其笔记本开始。 我有一个准备好的训练集。 有没有一种方法可以绕过设置笔记本而只是通过上传培训集开始？ 或应通过笔记本电脑完成。 如果有人在上面知道一些适合我需求的示例，那将很棒。

Answer 1

Amazon SageMaker是多个服务的组合，每个服务都彼此独立。 如果要在熟悉的Jupyter环境中开发模型，可以使用笔记本实例。 但是，如果只需要训练模型，则可以使用训练作业而无需打开笔记本实例。

有几种方法可以启动培训工作：

• 使用适用于Python的高级SDK，类似于在python代码中开始训练步骤的方式

kmeans.fit(kmeans.record_set(train_set[0]))

这是python库的链接： https : //github.com/aws/sagemaker-python-sdk

• 使用低级API创建培训工作，您可以使用各种SDK（Java，Python，JavaScript，C＃...）或CLI进行操作。

sagemaker = boto3.client('sagemaker') sagemaker.create_training_job(**create_training_params)

这是这些选项的文档链接： https : //docs.aws.amazon.com/sagemaker/latest/dg/ex1-train-model-create-training-job.html

• 使用Spark界面通过与创建MLLib培训工作类似的界面启动它

val estimator = new KMeansSageMakerEstimator( sagemakerRole = IAMRole(roleArn), trainingInstanceType = "ml.p2.xlarge", trainingInstanceCount = 1, endpointInstanceType = "ml.c4.xlarge", endpointInitialInstanceCount = 1) .setK(10).setFeatureDim(784)

val model = estimator.fit(trainingData)

这是spark-sagemaker库的链接： https : //github.com/aws/sagemaker-spark

• 使用以下向导在Amazon SageMaker控制台中创建培训作业： https ://console.aws.amazon.com/sagemaker/home?region=us-east-1#/jobs

请注意，还有一些选项可以使用K-Means，Linear Learner或XGBoost等内置算法来训练模型（完整列表请参见此处： https ：//docs.aws.amazon.com/sagemaker /latest/dg/algos.html ）。 但是您还可以为预烘焙的Docker映像提供自己的模型，例如TensorFlow（ https://docs.aws.amazon.com/sagemaker/latest/dg/tf.html ）或MXNet（ https://docs.aws .amazon.com / sagemaker / latest / dg / mxnet.html ），即您自己的Docker映像（ https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo.html ）。