如何在 SageMaker 處理作業中使用打包的 model tar.gz？

Question

我正在為 SageMaker 和 Airflow 部署完整的 ML 管道。我想將管道的訓練和處理部分分開。

我有一個關於SageMakerProcessingOperator ( source_code ) 的問題。 此運算符依賴於create_processing_job() function。使用此運算符時，我想擴展用於處理的基本 docker 圖像，以便使用自制腳本。 目前，當我將容器推送到 aws ECR 時，處理工作正常。 但是，我更願意使用存儲在我打包的 model 中的一部分腳本（tar.gz 格式）。

為了訓練和注冊 model，我們可以使用sagemaker_submit_directory和SAGEMAKER_PROGRAM env 變量 (cf aws_doc ) 指定用於擴展的圖像。 但是，使用 SageMakerProcessingOperator 似乎是不可能的。 以下是操作員中使用的配置的摘錄，尚未成功。

"Environment": {
    "sagemaker_enable_cloudwatch_metrics": "false",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": f"{self.region_name}",
    "SAGEMAKER_SUBMIT_DIRECTORY": f"{self.train_code_path}",
    "SAGEMAKER_PROGRAM": f"{self.processing_entry_point}",
    "sagemaker_job_name": f"{self.process_job_name}",
},

有沒有人設法將這些參數用於 Sagemaker create_processing_job()？ 還是僅限於 AWS ECR？

Answer 1

SageMaker Processing Job 和 SageMaker training job 不同，所以底層架構不同，我們不能將兩者結合起來。