![](/img/trans.png)
[英]Using BigQuery - INSERT INTO to copy data from one nested table into another nested table
[英]How to insert Billing Data from one Table into another Table in BigQuery
我有两个表,两个表都来自两个不同区域的 GCP 计费数据。 我想将一个表插入另一个表。 这两个表都按天分区,GCP 正在写入较大的一个以进行计费导出,这就是为什么我想将数据插入到较大的表中。
我正在尝试以下操作:
INSERT INTO dataset.big_billing_table SELECT * FROM dataset.small_billing_table
但是,我遇到了很多问题,因为它不仅让我插入(因为架构中有重复的字段等)。 可以在此处找到数据集的示例https://bigquery.cloud.google.com/table/data-analytics-pocs:public.gcp_billing_export_v1_EXAMPL_E0XD3A_DB33F1
谢谢:)
## 更新 ##
所以问题是使用 Avro 格式导出和导入数据,并在重新导入表时使用自动检测模式(时间戳与 integer 类型混淆)。
将 JSON 格式的小表导出到 GCS,使用 GCS 进行文件的区域传输,然后将 JSON 文件导入 Bigquery 表,不要使用模式自动检测(例如手动指定模式)。 然后你可以使用 INSERT INTO 没有问题等。
我能够使用您提供的示例数据集重现您的案例。 我使用了从以下查询生成的虚拟表来证实这些案例:
表 1:billing_bigquery
SELECT * FROM `data-analytics-pocs.public.gcp_billing_export_v1_EXAMPL_E0XD3A_DB33F1`
where service.description ='BigQuery' limit 1000
表 2:billing_pubsub
SELECT * FROM `data-analytics-pocs.public.gcp_billing_export_v1_EXAMPL_E0XD3A_DB33F1`
where service.description ='Cloud Pub/Sub' limit 1000
我将提出两种执行此任务的方法。 但是,我必须指出,目标表和源表必须具有相同的列名,至少是您要插入的列名。
首先,我使用了 INSERT TO方法。 但是,我想强调的是,根据文档,如果您的表已分区,则必须包含将用于插入新行的列名。 因此,使用已经显示的虚拟数据,它将如下:
INSERT INTO `billing_bigquery` ( billing_account_id, service, sku, usage_start_time, usage_end_time, project, labels, system_labels, location, export_time, cost, currency, currency_conversion_rate, usage, credits )#invoice, cost_type
SELECT billing_account_id, service, sku, usage_start_time, usage_end_time, project, labels, system_labels, location, export_time, cost, currency, currency_conversion_rate, usage, credits
FROM `billing_pubsub`
请注意,对于嵌套字段,我只写下字段名称,例如: service而不是service.description ,因为它们已经被使用了。 此外,我没有 select 目标数据集中的所有列,但我在目标表中选择的所有列也必须在源表选择中。
第二种方法,您可以简单地使用查询设置按钮将 append 的small_billing_table到big_billing_table 。 在 BigQuery 控制台中,点击更多>>查询设置。 然后设置 window 将出现,你 go 到Destination table ,检查Set a destination table for query results ,填写字段:项目名称,数据集名称和表名称- 这些是目标表的信息 - 。 随后,在Destination table write preference check Append to table ,根据文档:
Append 到表 - 将查询结果附加到现有表
然后运行以下查询:
Select * from <project.dataset.source_table>
然后在运行它之后,源的表数据应该附加到目标的表中。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.