如何通过运行 Google Compute Engine cron 作业来安排数据流作业

Question

在数据流常见问题解答中，列出了在 Compute Engine 上运行自定义 (cron) 作业进程是一种安排数据流管道的方法。 我对具体应该如何完成感到困惑：如何在计算引擎上启动数据流作业并启动 cron 作业。

谢谢！

Answer 1

我在 App Engine 上工作，但我想这与 Compute Engine 类似

Cron 将以您指定的频率命中您服务上的一个端点。 因此，您需要为该端点设置一个请求处理程序，它将在命中时启动数据流作业（基本上在您的请求处理程序中，您需要定义您的管道，然后在其上调用“运行”）。

这应该是它的基础。 我做的一个额外步骤是让我的 cron 作业的请求处理程序启动云任务，然后让我的云任务的请求处理程序启动数据流作业。 我这样做是因为我注意到管道的“运行”命令有时需要一段时间，而云任务有 10 分钟的超时时间，而 cron 作业的超时时间为 30 秒（或者是 60 秒）。

Answer 2

您可以使用 Google Cloud Scheduler来执行数据流作业。 在 Cloud Scheduler 上，您有目标，这些可能是 HTTP/S 端点、Pub/Sub 主题、App Engine 应用程序，您可以使用数据流模板作为目标。 查看此外部文章以查看示例： 使用 Cloud Scheduler 安排您的数据流批处理作业，或者如果您想向交互添加更多服务： 使用 Cloud Run、PubSub 和 Cloud Scheduler 安排数据流管道。