為什么 AWS SageMaker 運行 web 服務器進行批量轉換？

Question

我正在創建自己的 Docker 容器以與 SageMaker 一起使用，我想知道為什么當我想做批量轉換工作時，serve 命令會創建一個 Flask 應用程序來提供數據預測。 僅僅解開 model 並在我想要預測的數據集上運行模型的預測方法不是更簡單嗎？ 我不需要 web api/端點。 我只需要每天自動生成一次預測。

Answer 1

好問題:) 使用完全相同的代碼進行批處理推理和在線推理可以減少開發開銷——完全相同的堆棧可用於兩種用例——並且還降低了在批處理中完成的事情和在線完成的事情之間產生不同結果的風險。 話雖如此，SageMaker 非常靈活，您所描述的內容可以使用 Training API 輕松完成。 訓練 API 中沒有任何內容強迫您將其用於 ML 訓練，它實際上是一個非常通用的 docker 編排器，具有高級日志記錄、元數據持久性，並且專為快速和分布式數據攝取而構建。