bq extract - 提取操作中的 BigQuery 錯誤：發生內部錯誤，請求無法完成

Question

我正在嘗試使用控制台中的以下命令將表從 BigQuery 導出到谷歌存儲：

bq --location=<hidden> extract --destination_format CSV --compression GZIP --field_delimiter "|" --print_header=true <project>:<dataset>.<table> gs://<airflow_bucket>/data/zip/20200706_<hidden_name>.gzip

我收到以下錯誤：

提取操作中的 BigQuery 錯誤：發生內部錯誤，請求無法完成。

這是有關該表的一些信息

Table ID    <HIDDEN> 
Table size 6,18 GB
Number of rows   25 854 282 
Created 18.06.2020, 15:26:10 
Table expiration     Never 
Last modified 14.07.2020, 17:35:25 
Data location    EU

我在這里要做的是將這張表提取到谷歌存儲中。 由於該表大於 1 Gb，因此它會變得支離破碎......我想將所有這些片段組合到一個存檔中，進入一個谷歌雲存儲桶。

這里發生了什么？ 我該如何解決？

注意：我已經通過提及<hidden>或<airflow_bucket>或 `: 隱藏了表的實際名稱和位置以及其他信息。

---

`

Answer 1

我發現了這背后的原因，文檔給出了bq extract的以下語法

> bq --location=location extract \
> --destination_format format \
> --compression compression_type \
> --field_delimiter delimiter \
> --print_header=boolean \ project_id:dataset.table \ gs://bucket/filename.ext

我刪除了location=<bq_table_location>並且它在原則上有效。 除了我必須添加一個通配符，我最終有多個壓縮文件。

Answer 2

根據公共文檔，由於 1 Gb 文件大小限制，您會收到錯誤消息。

目前，如果不添加額外步驟（例如 在 Cloud Storage 上進行連接或在Dataflow上使用批處理作業），則無法完成您想要的操作。

有一些Google 提供的批處理模板可以將數據從 BigQuery 導出到 GCS，但沒有 CSV 格式的，因此您需要觸摸一些代碼才能在 Dataflow 上執行此操作。