簡體 English 中英

定期安排從GCS向BigQuery加載數據

[英]Schedule loading data from GCS to BigQuery periodically

原文 2019-03-04 11:24:40 0 2 google-cloud-platform/ google-bigquery/ google-cloud-storage/ airflow/ airflow-scheduler

我已經對其進行了研究，目前正在使用Apache Airflow提出一項策略。 我仍然不確定如何執行此操作。 我得到的大多數博客和答案都是直接代碼，而不是為了更好地理解它的一些材料。 另外，請提出是否有一個好的方法。

我也得到了一個答案，例如將Background Cloud Function與Cloud Storage trigger 。

2 個解決方案

您可以使用BigQuery的Cloud Storage傳輸，但請注意，該傳輸仍在BETA中。

它使您可以選擇在有一定限制的情況下安排從Cloud Storage到BigQuery的傳輸。

我得到的最多博客和答案都是直接代碼

Apache Airflow帶有豐富的UI，可以執行許多任務，但這並不意味着您不應編寫代碼來完成任務。

對於您的情況，您需要對Apache Airflow使用BigQuery 命令行運算符

在此鏈接中可以找到有關如何執行此操作的好方法

使用通配符和自動檢測將數據從GCS加載到BigQuery

[英]Loading data from GCS to BigQuery using Wildcards and Autodetect

BigQuery：將數據從GCS加載到EU數據集中

[英]BigQuery: Load Data into EU Dataset from GCS

BigQuery：將數據從GCS加載到EU數據集中

[英]BigQuery: Load Data into EU Dataset from GCS

無法將備份數據從GCS加載到BigQuery

[英]Cannot load backup data from GCS to BigQuery

從 GCS 加載_Csv_data 到 Bigquery

[英]Load_Csv_data from GCS to Bigquery

Bigquery 定期合並數據

[英]Bigquery periodically coalesce data

使用Spark Local從GCS加載數據

[英]Loading data from GCS using Spark Local

使用 Dataflow 的 DLP 從 GCS 讀取並寫入 BigQuery - 只有 50% 的數據寫入 BigQuery

[英]Used Dataflow's DLP to read from GCS and write to BigQuery - Only 50% data written to BigQuery

帶GCS數據源的Bigquery表不影響改成gcs的數據

[英]Bigquery table with GCS data source does not affect data changed into gcs

GCS 將 CSV 中的所有數據加載到一列中

[英]GCS loading all data from CSV into one column

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 使用通配符和自動檢測將數據從GCS加載到BigQuery BigQuery：將數據從GCS加載到EU數據集中 BigQuery：將數據從GCS加載到EU數據集中無法將備份數據從GCS加載到BigQuery 從 GCS 加載_Csv_data 到 Bigquery Bigquery 定期合並數據使用Spark Local從GCS加載數據使用 Dataflow 的 DLP 從 GCS 讀取並寫入 BigQuery - 只有 50% 的數據寫入 BigQuery 帶GCS數據源的Bigquery表不影響改成gcs的數據 GCS 將 CSV 中的所有數據加載到一列中

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM