Bigquery - 我如何将数据插入到嵌套表中

Question

我正在尝试将一个包含完整架构数据的虚拟记录插入到 bigquery GA360 表中。

我想出来的一种方法是“插入”所有字段：

INSERT INTO <project.dataset.table> (visitorId,visitStartTime,date,totals,customDimension.......)
VALUES ( 1234, 12345, 20200101, ( 1,2,3,4,5,6,7,8,9,10,11,12,13),[(1,"asd"),....].....)

当我遇到具有复杂嵌套结构的“命中”字段时，我放弃了。

有没有其他方法（例如，我可以想象的事情是使用表模式 JSON 文件使用客户端 API 进行编码）或任何已成功使用 DDL 的人？

Answer 1

我将如何解决这个问题：

1. 获取示例作为 JSON 对象：

SELECT TO_JSON_STRING(a)
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801` a
LIMIT 1

2. 将该长 JSON 字符串保存到文件中。

3. 根据需要修改该文件。

4. 创建一个新表以插入该文件：

CREATE TABLE `temp.analy` AS
SELECT *
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801` 
LIMIT 0

5. 使用手动修改的值插入文件：

bq load --source_format=NEWLINE_DELIMITED_JSON temp.analy my.json

或者

5b. 创建一个联合表，这样你就可以

INSERT INTO 'table'
SELECT * 
FROM `federated_table_that_reads_the_json_file`