GCP 数据流作业部署

Question

我正在尝试自动化经典模板的 CI/CD。

按照文档在 GCS 上创建和暂存模板

关于代码更改（错误修复等），我打算耗尽现有作业并创建一个同名的新作业。

要耗尽现有工作，我需要 JOB_ID，但我只有在创建工作期间使用的 JOB_NAME。

我看到的唯一方法是使用list命令并获取活动作业，处理 output 以提取作业 ID 以在drain命令中使用它。 这似乎是一种迂回的方式。 有没有办法用 Job_Name 排空作业或至少从 JOB_NAME 获取 JOB_ID。

Answer 1

当您使用gcloud dataflow jobs run命令创建作业时，运行此命令的响应应按以下方式返回JOB_ID （例如，如果您创建批处理作业）：

    id: 2016-10-11_17_10_59-1234530157620696789
    projectId: YOUR_PROJECT_ID
    type: JOB_TYPE_BATCH

正如您提到的那样，使用gcloud dataflow jobs list将是使用自动化关联JOB_NAME和JOB_ID的直接方法。 使用 Python 脚本实现此目的的方法在社区的另一篇文章中有所描述。

Answer 2

GCP 提供REST API更新数据流作业。 无需明确耗尽现有工作并创建新工作。

您也可以通过 Python 代码来完成。 请参阅我的GIST以获取 python 代码。