使用 Deployment Manager 在 BigQuery 中创建“外部表”时出现“403 Permission denied while getting Drive credentials”

Question

重现步骤：

• 在 Google 表格中创建表格
• 在 Google Cloud Platform 中启用 Deployment Manager 和 Google Drive API
• 在工作表上添加具有view权限的部署管理器服务帐户
• 使用部署管理器创建数据集
• 使用部署管理器创建表，在 sourceUris 中引用外部表

部分 python 模板：

 def GenerateConfig(context): name: str = context.env['name'] dataset: str = context.properties['dataset'] tables: [] = context.properties['tables'] location: str = context.properties.get('location', 'EU') resources = [{ 'name': name, 'type': 'gcp-types/bigquery-v2:datasets', 'properties': { 'datasetReference': { 'datasetId': dataset, }, 'location': location }, }] for t in tables: resources.append({ 'name': '{}-tbl'.format(t["name"]), 'type': 'gcp-types/bigquery-v2:tables', 'properties': { 'datasetId': dataset, 'tableReference': { 'tableId': t["name"] }, 'externalDataConfiguration': { 'sourceUris': ['https://docs.google.com/spreadsheets/d/123123123123123-123123123123/edit?usp=sharing'], 'sourceFormat': 'GOOGLE_SHEETS', 'autodetect': True, 'googleSheetsOptions': { "skipLeadingRows": '1', } } }, }) return {'resources': resources}

我发现了一些这样的线索，但它们都引用了使用“范围”来添加https://www.googleapis.com/auth/drive 。 我不确定如何将范围添加到部署管理器请求，或者范围实际上是如何工作的。

任何帮助，将不胜感激。

Answer 1

是的，使用范围可以解决问题。 但是，即使在添加范围之后，我也面临同样的错误。 与 GCP 服务帐户共享 google 表格文档帮助我摆脱了这个错误。

总结 - 使用范围并与您将用于查询表的 GCP 服务帐户共享文档。

另外，本文档对 查询外部表很有帮助

Answer 2

在 Cloud Composer 上运行 Airflow DAG 时，我遇到了同样的问题，这是 Google Cloud Platform 上的托管 Airflow 服务。

本质上你需要：

1. 与服务帐户的 email 共享文件（根据 DAG 应该执行的内容授予查看者或编辑者权限）
2. 启用 Google 云端硬盘 OAuth 范围

根据您使用的 Cloud Composer 版本，第二步的执行方式应该略有不同：

---

对于云作曲家 1

您应该通过用户界面添加 Google Drive OAuth Scope：

• "https://www.googleapis.com/auth/drive"

或者，如果您使用基础设施即代码（例如 Terraform），您可以指定oauth_scopes ，如下所示：

config {
    ...
    node_config {
        ...
        oauth_scopes = [
            "https://www.googleapis.com/auth/drive",
        ]

    }
}

---

对于云作曲家 2

由于 Cloud Composer v2 使用 GKE Autopilot，因此在环境级别不支持 OAuth。 但是，您可以在连接级别指定 scope，您的 Airflow 操作员正在使用它来启动连接。

如果您使用默认的 GCP 连接（即在部署 Cloud Composer 实例时自动创建的google_cloud_default ），那么您需要做的就是指定 Google Drive（ "https://www.googleapis.com/auth/drive" ) 在连接scopes内（通过 Airflow 连接 UI）。

或者，您甚至可以创建新连接并再次在范围字段中指定 Google Drive，然后在您的 Operator 的gcp_conn_id参数中传递此连接的名称。