將配置文件傳遞給 Sagemaker 訓練程序

Question

設置：

我已經為 AWS Sagemaker Training 選擇了自帶容器選項。 在 Dockerfile 中，我指定SAGEMAKER_PROGRAM變量指向tools/train.py ，因為我正在使用 mmaction2 存儲庫。

所以用戶正在執行

estimator = PyTorch(
    role='sagemaker_role',
    image_uri="path_in_ecr",
    instance_count=1,
    instance_type="ml.g4dn.xlarge",
    volume_size=40,
    output_path=f"s3://{bucket}/{prefix_output}/",
    sagemaker_session=sagemaker_session,
    max_run=3600 * 2,
)

estimator.fit()

在 ec2 機器上說他們在/home/ubuntu/train_config_mmaction2.py中有一個配置

問題：由於 mmaction2 需要一個配置文件作為指定訓練配置的輸入，我如何將文件傳遞給 Sagemaker Training，以便將其從調用 ec2 實例復制到訓練實例，並用作定義的SAGEMAKER_PROGRAM的命令行參數在 Dockerfile 中？

我嘗試使用 pytorch class 中提供的entrypoint點和source_code代碼參數，其中入口點和配置位於源代碼目錄中，以便復制配置。 但是，這會產生對每次運行都在本地存在入口點的依賴性。 我想知道是否有辦法在沒有這種依賴的情況下做到這一點

Answer 1

嘿，你可以做很多事情：

1. 在source_dir中包含配置文件以及入口點。 這不一定是本地的，它也可以來自 git 存儲庫，如下所示： 博客、 演示
2. 或者您可以使用 SageMaker 輸入或檢查點通道 ( doc ) 通過 S3 引入配置文件