如何在AWS SageMaker中加載訓練集以構建模型？

Question

我是SageMaker的新手。 第一次互動時，AWS SageMaker似乎要求您從其筆記本開始。 我有一個准備好的訓練集。 有沒有一種方法可以繞過設置筆記本而只是通過上傳培訓集開始？ 或應通過筆記本電腦完成。 如果有人在上面知道一些適合我需求的示例，那將很棒。

Answer 1

Amazon SageMaker是多個服務的組合，每個服務都彼此獨立。 如果要在熟悉的Jupyter環境中開發模型，可以使用筆記本實例。 但是，如果只需要訓練模型，則可以使用訓練作業而無需打開筆記本實例。

有幾種方法可以啟動培訓工作：

• 使用適用於Python的高級SDK，類似於在python代碼中開始訓練步驟的方式

kmeans.fit(kmeans.record_set(train_set[0]))

這是python庫的鏈接： https : //github.com/aws/sagemaker-python-sdk

• 使用低級API創建培訓工作，您可以使用各種SDK（Java，Python，JavaScript，C＃...）或CLI進行操作。

sagemaker = boto3.client('sagemaker') sagemaker.create_training_job(**create_training_params)

這是這些選項的文檔鏈接： https : //docs.aws.amazon.com/sagemaker/latest/dg/ex1-train-model-create-training-job.html

• 使用Spark界面通過與創建MLLib培訓工作類似的界面啟動它

val estimator = new KMeansSageMakerEstimator( sagemakerRole = IAMRole(roleArn), trainingInstanceType = "ml.p2.xlarge", trainingInstanceCount = 1, endpointInstanceType = "ml.c4.xlarge", endpointInitialInstanceCount = 1) .setK(10).setFeatureDim(784)

val model = estimator.fit(trainingData)

這是spark-sagemaker庫的鏈接： https : //github.com/aws/sagemaker-spark

• 使用以下向導在Amazon SageMaker控制台中創建培訓作業： https ://console.aws.amazon.com/sagemaker/home?region=us-east-1#/jobs

請注意，還有一些選項可以使用K-Means，Linear Learner或XGBoost等內置算法來訓練模型（完整列表請參見此處： https ：//docs.aws.amazon.com/sagemaker /latest/dg/algos.html ）。 但是您還可以為預烘焙的Docker映像提供自己的模型，例如TensorFlow（ https://docs.aws.amazon.com/sagemaker/latest/dg/tf.html ）或MXNet（ https://docs.aws .amazon.com / sagemaker / latest / dg / mxnet.html ），即您自己的Docker映像（ https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo.html ）。