将Big Query Table下载为JSON

Question

我想将现有的Big Query表下载为JSON，以处理具有长字符串的列之一。

已将大查询表与数据存储备份文件一起从App Engine提取到GCS。 我使用Big Query从GCS读取了数据存储区备份文件，并从中创建了一个表，这导致重复的字符串列非常长。

我无法解析长字符串，因此我需要将表下载为JSON并重新存储为Big Query作为新表。 我需要这种方法的建议

Answer 1

有3种导出数据的方法：

1. 单个URI（1个文件，限制为1GB，很可能您正在使用此文件）

[ 'GS：//my-bucket/file-name.json']

创建：

GS：//my-bucket/file-name.json

2. 单个通配符URI（每个1GB创建多个文件）

[ 'GS：//my-bucket/file-name-*.json']

创建：

GS：//my-bucket/file-name-000000000000.json
GS：//my-bucket/file-name-000000000001.json
gs：//my-bucket/file-name-000000000002.json ...

3. 多个通配符URI（这需要Hadoop）

gs：// my-bucket / file-name- {worker number}-*。json

创建：

本示例假定BigQuery在每个分区中创建80个分片文件。

GS：//my-bucket/file-name-1-000000000000.json
GS：//my-bucket/file-name-1-000000000001.json
...
GS：//my-bucket/file-name-1-000000000080.json
GS：//my-bucket/file-name-2-000000000000.json
GS：//my-bucket/file-name-2-000000000001.json
...
GS：//my-bucket/file-name-2-000000000080.json
GS：//my-bucket/file-name-3-000000000000.json
GS：//my-bucket/file-name-3-000000000001.json
...
GS：//my-bucket/file-name-3-000000000080.json

阅读更多信息：

https://cloud.google.com/bigquery/exporting-data-from-bigquery