Sagemaker 管道 - 无法解析管道定义

Question

我正在使用 Sagemaker Pipelines 将两个连续的 ProcessingJobs 链接在一起。 调用pipeline.upsert()时出现奇怪的错误

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unable to parse pipeline definition. Property 'null' with value 'null' is not of expected type 'String'

这是我的管道的样子：

    step_process_data = ProcessingStep(
        name='ProcessDataStep',
        processor=script_processor,
        code=os.path.join(BASE_DIR, "scripts/preprocess.py"),
        job_arguments=job_arguments
    )
    
    step_split_data = ProcessingStep(
        name='SplitDataStep',
        processor=script_processor,
        code=os.path.join(BASE_DIR, "scripts/split_data.py"),
        job_arguments=job_arguments,
        depends_on=[step_process_data]
    )
    
    pipeline = Pipeline(
        name="DataPreperationPipeline",
        steps=[step_process_data, step_split_data],
        sagemaker_session=sagemaker_session
    )

关于我做错或遗漏的事情有什么想法吗？

Answer 1

不确定您是否正确设置了所有对象，请按照以下示例进行验证。

https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/abalone_build_train_deploy/sagemaker-pipelines-preprocess-train-evaluate-batch-transform.ipynb

Answer 2

我遇到了同样的问题，我的job_arguments是字符串。 我会确保job_arguments中的所有项目都属于同一类型。