Cloud Run / Docker 加載大文件以進行 ML 預測

Question

我正在嘗試從 Google Cloud Run 上的Flask驅動的 docker 容器提供一個相當大的模型（1GB）。

我試圖找出加載pickle / joblib模型文件的最佳方式 - 以減少容器啟動時間。

由於包含在 github 源中不是一個選項或Dockerfile ，我現在唯一的想法是嘗試使用gsutil從Dockerfile將其讀入容器。

這將如何影響冷容器啟動時間？ 有沒有更簡單的方法來實現這一目標？

此外，在代碼中調用joblib.load(model_file_path)似乎也不是一個好主意 - 因為加載可能需要 30 秒或更長時間。

Answer 1

我的建議是構建帶有模型的容器。 你贏得了 2 樣東西：

• 在啟動時，您不必下載文件（節省啟動時間）
• 您不必存儲模型（有關信息，文件存儲在 /tmp 目錄中，這是一個內存文件系統，因此您在實例中使用了內存空間），從而增加了所需的內存（您節省了資金） ，還有這個星球！）

我寫了一篇關於這個的文章

但是，加載 1Gb 模型需要時間。 一個功能即將推出（最小實例，保持最少數量的實例溫暖，以防止冷啟動，但它不是免費的！）

Answer 2

Cloud Run 有一個內存文件系統，要下載或使用 1GB 的文件，您需要確保為您的實例選擇了足夠的內存。 嘗試使用4GiB ，請參閱文檔以設置內存限制