无法排空/取消数据流作业。 它一直在等待 state

Question

有些作业还有待处理的待处理 state，我无法取消它们。

如何取消作业。

Web 控制台显示是这样的。

• “图表仍在分析中。”
• 所有日志都是“未找到与当前过滤器匹配的条目”。
• 作业状态：“开始...” 还没有取消按钮。

Compute Engline 选项卡中没有实例。

我所做的如下。 我创建了一个流媒体作业。 这是一个简单的模板作业，Pubsub 订阅 BigQuery。 我将 machineType 设置为 e2-micro 因为它只是一个测试。

我也尝试通过 gcloud 排空和取消，但它不起作用。

$ gcloud dataflow jobs drain --region asia-northeast1 JOBID

Failed to drain job [...]: (...): Workflow modification failed. Causes: (...): 
Operation drain not allowed for JOBID. 
Job is not yet ready for draining. Please retry in a few minutes. 
Please ensure you have permission to access the job and the `--region` flag, asia-northeast1, matches the job's
region.

这是工作清单

$ gcloud dataflow jobs list --region asia-northeast1
JOB_ID  NAME                               TYPE       CREATION_TIME        STATE      REGION
JOBID1  pubsub-to-bigquery-udf4            Streaming  2021-02-09 04:24:23  Pending    asia-northeast1
JOBID2  pubsub-to-bigquery-udf2            Streaming  2021-02-09 03:20:35  Pending    asia-northeast1
...other jobs...

请让我知道如何停止/取消/删除这些流式传输作业。

作业 ID：

• 2021-02-08_20_24_22-11667100055733179687
• 2021-02-08_20_24_22-11667100055733179687

网页界面： https://i.stack.imgur.com/B75OX.png

https://i.stack.imgur.com/LzUGQ.png

Answer 1

在 GCP 控制台 Dataflow UI 中，如果您正在运行 Dataflow 作业，您将看到如下图所示的“停止”按钮。

按下停止按钮。

成功停止工作后，您将看到如下状态。 （第一次尝试时我太慢了，无法停止工作，所以我不得不再次测试它。:)）

Answer 2

根据个人经验，有时很少有实例卡住它们继续运行，或者它们无法取消，或者您看不到图形数据流管道。 处理此类问题的最佳方法是将它们保持在 thr 状态，除非它不会通过超过最大并发运行次数来影响您的解决方案。 它将自动取消或由 Google 团队取消，因为 Dataflow 是由 Google 管理的。