將數據從 BQ 移動到本地 SQL 服務器 relationalDB

Question

任何人都可以幫助我了解我們如何將數據從 BQ (OLAP) 移動到本地 SQL 服務器關系數據庫 (OLTP)？ 這將是一個一次性的回填過程，然后每個月重復一次。 在我們進入細節之前，我想指出，我們還沒有准備好 shell 為 CloudSQL 或 BigData 出錢，所以我們決定可以將 BQ 中存在的分析數據移至關系數據庫，因為公共站點將讀取處理后的數據來自關系數據庫。

我有兩種方法：

1. 微服務可以有一個 quartz 作業，從 BQ 讀取數據添加到 relationalDB，但是，這會有多高效？
2. ETL過程從BQ讀取數據並保存到relationalDB。
3. 將數據從BQ以json文件保存到雲存儲，然后讀取文件，然后處理並保存在關系數據庫中（可以通過服務或ETL過程完成）

有沒有人可以建議任何其他方法？

Answer 1

為了提高效率，我可以建議這個過程

• 提取 BigQuery 數據並將其保存為 CSV
  • 如果數據太大。 使用要導出的數據在 BigQuery 中創建一個臨時表，並使用BigQuery 存儲 API以 CSV 格式將完整表內容導出到存儲。
• 在SQL服務器上，導入臨時表中的CSV（快速高效）
• 在臨時表和真實表之間使用 SQL 查詢執行 ETL 和合並插入
• 刪除臨時表