尝试从 BigQuery 获取数据时 Vertex AI Pipeline 失败

Question

我正在尝试运行 Google Vertex AI 管道以从 BigQuery 表进行查询。 在管道中，我使用了正确的项目和服务帐户（具有 bigquery.jobs.create 访问权限）。 但是我看到它在运行时正在访问另一个项目 e1cd7306fb577e88gq-uq。 我无法弄清楚这个项目的来源。 我正在从 Vertex AI 用户管理的笔记本运行管道

pandas_gbq.exceptions.GenericGBQException: Reason: 403 POST https://bigquery.googleapis.com/bigquery/v2/projects/e1cd7306fb577e88gq-uq/jobs?prettyPrint=false: Access Denied: Project e1cd7306fb577e88gq-uq: User does not have bigquery.jobs.create permission in project e1cd7306fb577e88gq-uq.

Answer 1

运行您的代码的服务代理或服务帐户确实具有所需的权限，但您的代码正在尝试访问错误项目中的资源。 由于 Vertex AI 运行训练代码的方式，如果您未在代码中明确指定项目 ID 或项目编号，则可能会无意中发生此问题。

您可以通过这种方式显式 select 您想要的项目：

import os

from google.cloud import bigquery

project_number = os.environ["CLOUD_ML_PROJECT_ID"]

client = bigquery.Client(project=project_number)

您可以在此处阅读有关培训代码要求的更多信息。