Sagemaker 管道 - 無法解析管道定義

Question

我正在使用 Sagemaker Pipelines 將兩個連續的 ProcessingJobs 鏈接在一起。 調用pipeline.upsert()時出現奇怪的錯誤

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unable to parse pipeline definition. Property 'null' with value 'null' is not of expected type 'String'

這是我的管道的樣子：

    step_process_data = ProcessingStep(
        name='ProcessDataStep',
        processor=script_processor,
        code=os.path.join(BASE_DIR, "scripts/preprocess.py"),
        job_arguments=job_arguments
    )
    
    step_split_data = ProcessingStep(
        name='SplitDataStep',
        processor=script_processor,
        code=os.path.join(BASE_DIR, "scripts/split_data.py"),
        job_arguments=job_arguments,
        depends_on=[step_process_data]
    )
    
    pipeline = Pipeline(
        name="DataPreperationPipeline",
        steps=[step_process_data, step_split_data],
        sagemaker_session=sagemaker_session
    )

關於我做錯或遺漏的事情有什么想法嗎？

Answer 1

不確定您是否正確設置了所有對象，請按照以下示例進行驗證。

https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/abalone_build_train_deploy/sagemaker-pipelines-preprocess-train-evaluate-batch-transform.ipynb

Answer 2

我遇到了同樣的問題，我的job_arguments是字符串。 我會確保job_arguments中的所有項目都屬於同一類型。