簡體 English 中英

如何將新添加的 avro 數據從 GCS 自動傳輸到 BigQuery

[英]How to automatically transfer newly added avro data from GCS to BigQuery

原文 2023-01-18 14:16:07 7 1 google-cloud-platform/ google-bigquery/ google-cloud-storage/ google-cloud-data-transfer

我想安排 Cloud Storage 與 BigQuery 之間的數據傳輸作業。 我有一個應用程序將數據連續轉儲到 GCS 存儲桶路徑（比方說gs://test-bucket/data1/*.avro ），我想在 GCS 中創建 object 后立即移動到 BigQuery。

我不想一次又一次地遷移文件夾中的所有可用文件。 我只想移動文件夾中上次運行后新添加的 object。

BigQuery 數據傳輸服務可用，它將 Avro 文件作為輸入而不是文件夾，它不只提供新添加的對象，而是提供所有對象。

我是新手所以可能缺少一些功能，我怎樣才能實現它？

請注意- 我想安排一個作業以特定頻率（每 10 或 15 分鍾）加載數據，我不希望從觸發器的角度來看任何解決方案，因為將生成的對象數量會很大。

1 個解決方案

您可以使用雲 Function 和存儲事件觸發器。 只需啟動 Cloud Function 即可在新文件到達時將數據加載到 BigQuery 中。 https://cloud.google.com/functions/docs/calling/storage編輯：如果您每天的負載超過 1500 次，您可以使用 BQ Storage API 來解決加載問題。

如果您不需要出色的性能，那么您可以在該文件夾上創建一個外部表並查詢它而不是加載每個文件。

如何將數據從 GCS 傳輸到 Colab GCE VM？

[英]How to transfer data from GCS to Colab GCE VM?

從 GCS 加載_Csv_data 到 Bigquery

[英]Load_Csv_data from GCS to Bigquery

使用 Cloud Functions 中的服務帳戶將數據從 GCS 上傳到 Bigquery

[英]Upload data from GCS to Bigquery using service account in Cloud Functions

使用 BigQuery 從 GCS 讀取數據失敗並顯示“未找到”，但日期（文件）存在

[英]Reading data from GCS with BigQuery fails with "Not Found", but the date (files) exists

如何從 gcs 存儲桶中解壓縮 tsv 文件並將其加載到 Bigquery

[英]How to unzip and load tsv file into Bigquery from gcs bucket

使用 Dataflow 的 DLP 從 GCS 讀取並寫入 BigQuery - 只有 50% 的數據寫入 BigQuery

[英]Used Dataflow's DLP to read from GCS and write to BigQuery - Only 50% data written to BigQuery

firebase 分析是否為所有新添加的應用程序提供到 BigQuery 的完整數據導出？

[英]Does firebase analytics provide full data export to BigQuery for all the newly added apps?

如何從 GCS 將數據加載到 BigQuery（使用 load_table_from_uri 或 load_table_from_dataframe）而不復制 BQ 表中的現有數據

[英]how to load data into BigQuery from GCS (using load_table_from_uri or load_table_from_dataframe) without duplicating existing data in the BQ table

將文件從 GCS 存儲桶傳輸到 Webdav 服務器

[英]Transfer files from GCS bucket to Webdav server

Airflow：我將如何編寫一個 Python 運算符以從 BigQuery 提取 function 到 GCS function？

[英]Airflow: How would I write a Python operator for an extract function from BigQuery to GCS function?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何將數據從 GCS 傳輸到 Colab GCE VM？從 GCS 加載_Csv_data 到 Bigquery 使用 Cloud Functions 中的服務帳戶將數據從 GCS 上傳到 Bigquery 使用 BigQuery 從 GCS 讀取數據失敗並顯示“未找到”，但日期（文件）存在如何從 gcs 存儲桶中解壓縮 tsv 文件並將其加載到 Bigquery 使用 Dataflow 的 DLP 從 GCS 讀取並寫入 BigQuery - 只有 50% 的數據寫入 BigQuery firebase 分析是否為所有新添加的應用程序提供到 BigQuery 的完整數據導出？如何從 GCS 將數據加載到 BigQuery（使用 load_table_from_uri 或 load_table_from_dataframe）而不復制 BQ 表中的現有數據將文件從 GCS 存儲桶傳輸到 Webdav 服務器 Airflow：我將如何編寫一個 Python 運算符以從 BigQuery 提取 function 到 GCS function？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM