GCP Stuck 上的字數統計示例

Question

我對 Python 和 Go 都遵循了https://cloud.google.com/dataflow/docs/quickstarts/create-pipeline-go上的示例，但是當我將作業部署到 Dataflow 時，作業不會超過 0 % > 20 分鍾。

Dataflow 是否有任何已知問題會阻止此作業的完成？

我用來執行作業的選項：

python -m  apache_beam.examples.wordcount \
             --input gs://dataflow-samples/shakespeare/kinglear.txt \
            --output <output_bucket> \
            --runner DataflowRunner \
            --project <project_id>  \
            --region us-west1 \
            --tmp_location <gcp_tmp_bucket> \
            --service_account_email=<service_account> \
            --subnetwork=<subnetwork_path>

Answer 1

您的工作停滯不前，因為您沒有填寫示例命令中的值😄

取消作業，如果作業沒有檢測到任何事情發生，則作業應該超時，但是您需要為在卡住時正在運行的工作人員付費。

• 您需要創建一個 GCS 存儲桶：這將傳遞給--output "gs://yourbucket/output"
• 您需要在 GCP --project your_project中指定您當前的項目
• 如果您不在 --region 中的us-west1 --region ，請更改區域
• 您可以為tmp_location指定之前創建的存儲桶的子路徑：-- --tmp_location "gs://yourbucket/tmp"
• 服務帳戶是可選的 - 將其省略，它將使用默認的 Compute Engine 服務帳戶。
• 子網也是可選的，將其省略，Dataflow 將使用默認子網（每個工作人員都將擁有一個公共 IP）。

在命令中填寫這些選項並重新運行。