從 Big Query 到 Google 雲存儲

Question

我喜歡使用任何腳本將數據從大查詢導出到谷歌雲存儲。 同樣對於使用循環保存的多個表，以 CSV 格式保存並覆蓋現有文件。

還有我們如何安排這個腳本。

如果有人有答案，那將是很大的幫助。

提前致謝

Answer 1

解決此問題的常用方法是使用Airflow並編寫一個 DAG 來滿足您的要求。

但是，如果您只想使用 BigQuery 定期迭代表並將它們轉儲到 GCS 中，則以下可能是另一種選擇。

1.導出數據

您可以使用 BigQuery 腳本中的EXPORT DATA語句將數據導出到 GCS。

EXPORT DATA OPTIONS(
  uri='gs://bucket/folder/*.csv',
  format='CSV',
  overwrite=true,
  header=true,
  field_delimiter=';') AS
SELECT field1, field2 FROM mydataset.table1 ORDER BY field1 LIMIT 10

• https://cloud.google.com/bigquery/docs/reference/standard-sql/other-statements

2.循環和動態 SQL

如果您有要轉儲的表列表，則可以在 BigQuery FOR循環中循環這些表。

• https://cloud.google.com/bigquery/docs/reference/standard-sql/procedural-language#loops

並且您需要為每個表動態生成EXPORT DATA腳本。 為此，您可以使用EXECUTE IMMEDIATE Dynamic SQL。

• https://cloud.google.com/bigquery/docs/reference/standard-sql/procedural-language#execute_immediate

3.調度

BigQuery 提供了一項功能來安排用戶查詢，您可以將其用於您的目的。

• https://cloud.google.com/bigquery/docs/scheduling-queries#set_up_scheduled_queries