Storage 和 BigQuery 之間的 GCP 管道

Question

每當數據添加到 GCP 存儲桶時，我如何處理數據？ 我需要使用自己的 API 處理每個文件並將其添加到 BigQuery。 我正在尋找一種每次將數據添加到存儲桶時觸發端點的方法。

Answer 1

您可以使用 Cloud Storage Trigger 函數，特別是事件類型finalize ，當成功完成存儲桶中的對象的寫入或覆蓋時會觸發此事件。 當執行這些操作之一時，該函數將被執行，並且您已經可以在其中執行您想要的操作，例如將數據發送到 BigQuery。

這是一個教程，因此您可以實施和部署觸發器。