將Big Query Table下載為JSON

Question

我想將現有的Big Query表下載為JSON，以處理具有長字符串的列之一。

已將大查詢表與數據存儲備份文件一起從App Engine提取到GCS。 我使用Big Query從GCS讀取了數據存儲區備份文件，並從中創建了一個表，這導致重復的字符串列非常長。

我無法解析長字符串，因此我需要將表下載為JSON並重新存儲為Big Query作為新表。 我需要這種方法的建議

Answer 1

有3種導出數據的方法：

1. 單個URI（1個文件，限制為1GB，很可能您正在使用此文件）

[ 'GS：//my-bucket/file-name.json']

創建：

GS：//my-bucket/file-name.json

2. 單個通配符URI（每個1GB創建多個文件）

[ 'GS：//my-bucket/file-name-*.json']

創建：

GS：//my-bucket/file-name-000000000000.json
GS：//my-bucket/file-name-000000000001.json
gs：//my-bucket/file-name-000000000002.json ...

3. 多個通配符URI（這需要Hadoop）

gs：// my-bucket / file-name- {worker number}-*。json

創建：

本示例假定BigQuery在每個分區中創建80個分片文件。

GS：//my-bucket/file-name-1-000000000000.json
GS：//my-bucket/file-name-1-000000000001.json
...
GS：//my-bucket/file-name-1-000000000080.json
GS：//my-bucket/file-name-2-000000000000.json
GS：//my-bucket/file-name-2-000000000001.json
...
GS：//my-bucket/file-name-2-000000000080.json
GS：//my-bucket/file-name-3-000000000000.json
GS：//my-bucket/file-name-3-000000000001.json
...
GS：//my-bucket/file-name-3-000000000080.json

閱讀更多信息：

https://cloud.google.com/bigquery/exporting-data-from-bigquery