如何在不到一秒的时间内从 bigquery 表中获取单个行？

Question

我在 bigquery 中有一个聚合的 data.table，它有数百万行。 这张桌子每天都在增长。

我需要一种方法在实时事件中以毫秒为单位从该聚合表中获取 1 行到 append 数据。

解决这个问题的最佳方法是什么？

Answer 1

BigQuery 不是为以毫秒为单位响应而构建的，因此您需要介于两者之间的其他解决方案。 大的聚合计算用BigQuery是完全没问题的。 但是你永远不应该直接从 BQ 服务，因为响应时间是毫秒级的问题。

另请注意，如果这是一个 web 应用程序，则页面的多次重新加载可能会花费您很多钱……因为您需要为每个查询付费。

有许多解决此类问题的架构解决方案，但如果没有任何项目上下文和目标，则很难说出您应该使用什么。

对于实时数据，我们经常使用 PubSub 来连接两者之间的某个地方，但如果（近）实时需求是一个聚合，这可能是一个问题。

您还可以通过将聚合数据导出到子组件来使用物化视图概念。 例如云存储 -> pubsub，或 SQL 实例/Memory 存储..或任何其他类型的微服务。