使用 Google Cloud Functions 长时间运行的 Python 进程

Question

我正在尝试在 Google Cloud 中运行一个 python 脚本，它将每天一次将 50GB 的数据下载到存储桶中。 该下载可能需要比 Google Cloud Functions 上设置为 9 分钟的超时限制更长的时间。 调用python函数的请求是由HTTP触发的。

有没有办法解决这个问题？ 我不需要运行 HTTP Restful 服务，因为它每天从外部来源调用一次。 （无法安排）。

整个前提是将大量数据直接下载到云端。 感谢您的任何建议。

Answer 1

9 分钟是 Cloud Functions 的硬性限制，不能超过。 如果您无法将您的工作拆分为更小的单元，每个函数调用一个单元，请考虑使用不同的产品。 Cloud Run 限制为 15 分钟，而 Compute Engine 没有适用于您的限制。

Answer 2

谷歌云调度程序可能会很好地解决这个问题。

这是一篇不错的谷歌博客文章，展示了如何设置 python 脚本的示例。

ps 您可能希望将其连接到 App Engine 以进行实际执行。