帶有 Scikit Learn 的 AWS Sagemaker 多模型終端節點：使用訓練腳本時出現 UnexpectedStatusException

Question

我正在嘗試使用 Scikit-learn 和自定義訓練腳本在 AWS sagemaker 中創建一個多模型端點。 當我嘗試使用以下代碼訓練我的模型時：

estimator = SKLearn(
    entry_point=TRAINING_FILE, # script to use for training job
    role=role,
    source_dir=SOURCE_DIR, # Location of scripts
    train_instance_count=1,
    train_instance_type=TRAIN_INSTANCE_TYPE,
    framework_version='0.23-1',
    output_path=s3_output_path,# Where to store model artifacts
    base_job_name=_job,
    code_location=code_location,# This is where the .tar.gz of the source_dir will be stored
    hyperparameters = {'max-samples'    : 100,
                       'model_name'     : key})

DISTRIBUTION_MODE = 'FullyReplicated'

train_input = sagemaker.s3_input(s3_data=inputs+'/train', 
                                  distribution=DISTRIBUTION_MODE, content_type='csv')
    
estimator.fit({'train': train_input}, wait=True)

其中“TRAINING_FILE”包含：

import argparse
import os

import numpy as np
import pandas as pd
import joblib
import sys

from sklearn.ensemble import IsolationForest

if __name__ == '__main__':
    parser = argparse.ArgumentParser()

    parser.add_argument('--max_samples', type=int, default=100)
    
    parser.add_argument('--model_dir', type=str, default=os.environ.get('SM_MODEL_DIR'))
    parser.add_argument('--train', type=str, default=os.environ.get('SM_CHANNEL_TRAIN'))
    parser.add_argument('--model_name', type=str)

    args, _ = parser.parse_known_args()

    print('reading data. . .')
    print('model_name: '+args.model_name)    
    
    train_file = os.path.join(args.train, args.model_name + '_train.csv')    
    train_df = pd.read_csv(train_file) # read in the training data
    train_tgt = train_df.iloc[:, 1] # target column is the second column
    
    clf = IsolationForest(max_samples = args.max_samples)
    clf = clf.fit([train_tgt])
    
    path = os.path.join(args.model_dir, 'model.joblib')
    joblib.dump(clf, path)
    print('model persisted at ' + path)

訓練腳本成功，但 sagemaker 拋出UnexpectedStatusException ：

有沒有人經歷過這樣的事情？ 我檢查了所有的 cloudwatch 日志，沒有發現任何有用的東西，我完全不知道接下來要嘗試什么。

Answer 1

對於將來遇到此問題的任何人，問題都已解決。

該問題與培訓無關，而是將目錄名稱中的無效字符發送到 S3。 因此腳本會正確生成工件，但是 sagemaker 在嘗試將它們保存到 S3 時會拋出異常