使用 Google Cloud Functions 長時間運行的 Python 進程

Question

我正在嘗試在 Google Cloud 中運行一個 python 腳本，它將每天一次將 50GB 的數據下載到存儲桶中。 該下載可能需要比 Google Cloud Functions 上設置為 9 分鍾的超時限制更長的時間。 調用python函數的請求是由HTTP觸發的。

有沒有辦法解決這個問題？ 我不需要運行 HTTP Restful 服務，因為它每天從外部來源調用一次。 （無法安排）。

整個前提是將大量數據直接下載到雲端。 感謝您的任何建議。

Answer 1

9 分鍾是 Cloud Functions 的硬性限制，不能超過。 如果您無法將您的工作拆分為更小的單元，每個函數調用一個單元，請考慮使用不同的產品。 Cloud Run 限制為 15 分鍾，而 Compute Engine 沒有適用於您的限制。

Answer 2

谷歌雲調度程序可能會很好地解決這個問題。

這是一篇不錯的谷歌博客文章，展示了如何設置 python 腳本的示例。

ps 您可能希望將其連接到 App Engine 以進行實際執行。