BigQuery 从 json 数据列创建表/视图

Question

我已经安装了 firebase 扩展，用于将数据流式传输到 bigquery。 之后，我用历史数据回填了表格。 我遇到的一件事是该表是基于更改日志构建的，因此每个流式事件的数据都包含在一个名为“数据”的列中的嵌套 json object 中。

我想知道是否有一个简单的 function 从这个 json object 创建一个视图/表。 这样它将键单独作为列，然后用每一行的值填充它。

一个困难是不同的事件类型包含不同的嵌套不同的 json 对象。

这就是为什么我想为每个事件创建一个表/视图。

Answer 1

我想知道是否有一个简单的 function 从这个 json object 创建一个视图/表。 这样它将键单独作为列，然后用每一行的值填充它。

是的，您可以按照扩展文档中的说明使用fs-bq-schema-views脚本。

该脚本会根据您以 JSON 格式编写的架构配置生成原始变更日志的 BigQuery 视图。 这很容易，只需按照说明进行操作。

一个困难是不同的事件类型包含不同的嵌套不同的 json 对象。

您可以基于两种不同的模式创建两个不同的视图，一种用于每种类型的事件，并在查询视图时过滤记录。