如何在不到一秒的時間內從 bigquery 表中獲取單個行？

Question

我在 bigquery 中有一個聚合的 data.table，它有數百萬行。 這張桌子每天都在增長。

我需要一種方法在實時事件中以毫秒為單位從該聚合表中獲取 1 行到 append 數據。

解決這個問題的最佳方法是什么？

Answer 1

BigQuery 不是為以毫秒為單位響應而構建的，因此您需要介於兩者之間的其他解決方案。 大的聚合計算用BigQuery是完全沒問題的。 但是你永遠不應該直接從 BQ 服務，因為響應時間是毫秒級的問題。

另請注意，如果這是一個 web 應用程序，則頁面的多次重新加載可能會花費您很多錢……因為您需要為每個查詢付費。

有許多解決此類問題的架構解決方案，但如果沒有任何項目上下文和目標，則很難說出您應該使用什么。

對於實時數據，我們經常使用 PubSub 來連接兩者之間的某個地方，但如果（近）實時需求是一個聚合，這可能是一個問題。

您還可以通過將聚合數據導出到子組件來使用物化視圖概念。 例如雲存儲 -> pubsub，或 SQL 實例/Memory 存儲..或任何其他類型的微服務。