尝试创建 GCP Pub Sub BigQuery 订阅时出错

Question

我正在尝试使用控制台创建 GCP Pub Sub BigQuery 订阅： https ://cloud.google.com/pubsub/docs/bigquery

但是，我收到以下错误消息：

API returned error: 'Request contains an invalid argument.'

任何帮助，将不胜感激。

笔记

1. 当大查询表不存在时，出现以下错误：

2.Pub Sub模式没有被删除

Answer 1

更新：实际上，尽管有一般性错误消息，但事实证明这是一个简单的问题。

要使用“写入元数据”选项，BigQuery 表之前必须具有以下字段结构：

• 订阅名称（字符串），
• message_id（字符串）
• publish_time（时间戳）
• 数据（字节、字符串或 json）
• 属性（字符串或 json）

它们在此处的文档中有更好的描述

一旦它们被创建，这个选项就可以正常工作。

我相信“使用主题模式”的问题也与主题中使用的模式有关，因为表必须已经具有相同的结构（但需要在您的配置中检查它）。 如果您的主题遵循 avro 架构，这可能会有所帮助： https ://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro#avro_conversions

---------- 以前的答案

不是一个明确的答案，但我遇到了同样的问题，并发现它与以下选项有些相关：

使用主题架构

写入元数据

取消选中然后使其工作。

同样的事情发生在使用 terraform 尝试建立基础设施的算法上。

我仍在调查它是否是错误或我的架构定义中的错误，但也许它也可以作为您的起点

Answer 2

404 错误表示 BigQuery 表不存在或与主题关联的 Pub/Sub 架构已删除。 对于前者，请确保项目、数据集和表名都与您要写入数据的现有表的名称匹配。 对于后者，您可以查看主题详细信息页面并确保架构名称不是_deleted-schema_ 。