gcloud.dataflow.flex-template.run 无法识别 arguments: --temp-location

Question

我通过gcloud dataflow flex-template run CLI 提供暂存位置和临时位置。 这些都是有效的可选标志（ 根据文档）并且没有提及您应该或不应该同时提供这两者。

为什么还会出现此错误？

错误：（gcloud.dataflow.flex-template.run）无法识别 arguments：--temp-location（您是说“--staging-location”吗？）gs://gcs-bucket-name

编辑：根据要求添加上下文

该过程在 Buildkite CI/CD 管道中执行，因此一般来说，Buildkite 代理/步骤调用运行 bash 脚本的 gcloud Docker 容器。 我也能够在本地运行这个命令和容器组合就好了——这个错误只在管道中运行时出现

Dockerfile

FROM gcr.io/google.com/cloudsdktool/cloud-sdk

COPY docker/scripts/gcloud-deploy-flex-template.sh /app/gcloud-deploy-flex-template.sh

WORKDIR /app

# RUN sudo apt-get install google-cloud-sdk <-- threw error

ENTRYPOINT "/app/gcloud-deploy-flex-template.sh"

gcloud-deploy-flex-template.sh

gcloud dataflow flex-template run ${JOB_NAME} \
    --template-file-gcs-location ${TEMPLATE_PATH}.json \
    --region us-central1 \
    --staging-location ${GCS_PATH}/staging/${JOB_NAME} \
    --temp-location ${GCS_PATH}/temp \
        --parameters requirements_file=requirements.txt \
        --parameters input_subscription=${INPUT_SUBSCRIPTION} \
        --parameters output_table=${OUTPUT_TABLE} \
        --parameters subject=${SUBJECT} \
        --parameters schema_registry_url=${SCHEMA_REGISTRY_URL} \
    --subnetwork=${SUBNETWORK} \
    --service-account-email=${SERVICE_ACCOUNT_EMAIL}

Answer 1

正如我在评论中所建议的那样，您可以使用最新版本的官方google sdk图像：

FROM google/cloud-sdk:412.0.0

COPY docker/scripts/gcloud-deploy-flex-template.sh /app/gcloud-deploy-flex-template.sh

WORKDIR /app

# RUN sudo apt-get install google-cloud-sdk <-- threw error

ENTRYPOINT "/app/gcloud-deploy-flex-template.sh"

或者

FROM gcr.io/google.com/cloudsdktool/cloud-sdk:408.0.1

COPY docker/scripts/gcloud-deploy-flex-template.sh /app/gcloud-deploy-flex-template.sh

WORKDIR /app

# RUN sudo apt-get install google-cloud-sdk <-- threw error

ENTRYPOINT "/app/gcloud-deploy-flex-template.sh"