在 Bigquery BI Engine 中混合處理大表和小表？ BI Engine緩存數據多久？

Question

是否建議將用於 ETL 目的（將 > 1TB 數據聚合到表中）和（查詢數據 < 1TB）可視化目的的項目分開。

還是 BI 引擎會巧妙地做到這一點？ 如果 BI Engine 緩存查詢數據，它會緩存多長時間？ 例如

1. 完全沒有它只會在 memory 處理中使用預留
2. 它將緩存數據直到它變滿並丟棄最舊的數據

Answer 1

建議按照您描述的方式分隔項目。 然后，您為可視化項目創建 BI 引擎預留以緩存數據。

對於您的可視化項目，BI Engine 會將最新數據存儲在 RAM 中，並隨着時間的推移卸載舊數據。 今天沒有具體保證數據在緩存中的准時保留 - BI Engine 將適應您的工作負載。

未來可能會改變的幾件事：

• 能夠選擇哪些表可以使用 BI 引擎預留。 這樣您就可以使用 ETL 將數據存儲在同一個項目中，但選擇應該緩存在 BI Engine 中的表。
• 我們可能會對數據緩存多長時間添加一些保證。