从 aws glue 工作启动 sagemaker 培训工作

Question

尝试通过 AWS Glue 作业运行以下代码。 scipt_path 中提到的文件与粘合作业的脚本位于同一 S3 存储桶文件夹中。 但是我仍然收到 FileNotFound 错误。 脚本文件应该放在哪里才能找到？

script_path = 'personalized_books_recommendation_script.py'
sess = sagemaker.Session()

# run the Scikit-Learn script
sklearn = SKLearn(
    entry_point=script_path,
    instance_type=instance_type_train,
    instance_count=instance_count_train,
    role=get_execution_role(),
    sagemaker_session=sess,
    framework_version=FRAMEWORK_VERSION
    )

Answer 1

使用SageMaker SDK启动 Amazon SageMaker 作业时，“entry_point”需要执行调用的环境的文件系统中的绝对或相对路径。 在这种情况下，将 AWS Glue 作业脚本放在同一个 S3 存储桶和前缀中没有帮助。

如果你想在 S3 中拥有你的代码，你应该将它与它的依赖项一起放在一个.tar.gz 文件中，并使用指向它的“source_dir”参数。

另外，请问您为什么要从 AWS Glue 作业启动 Amazon SageMaker 训练作业？ 我会将这两个作业作为管道中的步骤分别运行（ AWS Step Functions可能是编排它的一个很好的选择）。