簡體   English   中英

有什么好的方法可以快速將數據從 BigQuery 加載到 Clickhouse 中嗎?

[英]Is there a good way to load data from BigQuery into Clickhouse quickly?

我正在開發一種工具,它將 BigQuery 查詢的結果加載到 Clickhouse 中以供進一步分析。 是否有一種通用模式可以快速將數據從 BigQuery 表獲取到 Clickhouse?

到目前為止,我最好的選擇似乎是編寫一個自定義工具,使用 google bigquery 存儲 api 從查詢結果表中讀取數據,將其作為 AVRO 寫入磁盤,然后將其加載到 clickhouse。

我只是想在花時間之前檢查是否有任何好的選擇。 對我來說最重要的因素是從查詢完成到數據進入 Clickhouse 的時間。

使用airbytedouble.cloud的最簡單方法。 最后一個也將 clickhouse 作為服務進行管理。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM