SageMaker：如何手动运行 Model 质量监控作业？

Question

我正在使用 SageMaker SDK class ModelQualityMonitor配置 Model 随着时间的推移评估。

监控时间表不支持每月或每周时间段，在我的情况下，ground Truth 时间段超过一个月。

SageMaker Labs有一个手动运行 Data Quality Monitor 的示例，这个想法似乎是通过ProcessingInput提供输入constraints和statistics ，但不确定如何执行此操作。

是否可以手动运行 SageMaker Model Quality Monitor 作业？

Answer 1

Model 目前，开箱即用的监控是通过使用数据捕获输入按计划启动 SageMaker 处理作业来完成的。

在ModelQualityMonitor的情况下，启动了两个运行两个不同容器的处理作业。 即sagemaker-model-monitor-groundtruth-merger和sagemaker-model-monitor-analyzer

当前不支持手动执行ModelQualityMonitor 。 话虽这么说，类似于您分享的示例，该示例展示了如何手动触发DataQualityMonitor处理作业，您可以对ModelQualityMonitor执行相同的操作。 例如，您可以考虑启动处理作业并确保输入/输出符合要求。 sagemaker-model-monitor-groundtruth-merger处理作业将 Data Capture 合并到 Ground Truth 数据，这一事实更加复杂。 sagemaker-model-monitor-analyzer容器然后使用此合并数据作为输入。

因此，数据捕获格式和文件夹结构、开始和结束时间环境变量等都需要兼容。

要了解有关ModelQualityMonitor是如何完成的更多信息，我建议运行此示例并调查启动的处理作业及其输入/输出。