是否可以选择我要存储管道运行文件的 S3 目录？

Question

我的管道运行目录是在我的默认存储桶目录中创建的，它变得越来越乱。 我一直在尝试在我的 s3 默认存储桶中设置一个子目录来存储我所有的管道运行目录（PreProcess、Train、Evaluate、Interpret...），但我还没有成功。 有人可以帮我做吗？

我尝试将我的步骤名称从 CrossPreprocess-Data 更改为 sagemaker/cross-project/CrossPreprocess-Data 并且成功了。 它在 dir sagemaker/cross-project 中创建了我的管道目录

    step_process = ProcessingStep(
        name="sagemaker/cross-project/CrossPreprocess-Data",
        processor=sklearn_processor,
        outputs=[
            ProcessingOutput(output_name="train", source="/opt/ml/processing/train"),
            ProcessingOutput(output_name="validation", source="/opt/ml/processing/val"),
            ProcessingOutput(output_name="test", source="/opt/ml/processing/test"),
            ProcessingOutput(output_name="metafiles", source="/opt/ml/processing/metafiles"),
        ],
        code=os.path.join(BASE_DIR, "preprocess.py"),
        job_arguments=["--input-data", input_data, "--run-datetime", run_datetime, "--project-name", project_name],
    )

但是，在下一步中，我收到了这个错误，我无法继续执行

ClientError: An error occurred (ValidationException) when calling the UpdatePipeline operation: Unable to parse pipeline definition. Invalid property reference 'Steps.sagemaker/cross-project/CrossPreprocess-Data.ProcessingOutputConfig.Outputs['train'].S3Output.S3Uri' in GetFunction definition.

Answer 1

您可以在ProcessingOutput中设置目标以指定您的文件应保存到 S3 存储桶中的哪个位置。

https://sagemaker.readthedocs.io/en/stable/api/training/processing.html#sagemaker.processing.ProcessingOutput