BigQuery-DataWarehouse的维度表设计？

Question

我注意到BigQuery可以很好地维护历史数据，但是在进行单独的记录更新时，它的性能不佳。

对于历史数据，在“维度与事实范例”中的BigQuery中维护维度表有多有效？ 我只想在定期完全刷新维度数据的情况下使用此范例，因为维度表不能包含重复的键，并且BigQuery在记录级别更新时不起作用。

我还可以使用哪些其他方法维护维表？ 我想到了Bigtable，但这是一个很好的应用程序吗？

Answer 1

根据“事实”和“维度”表中“事实”和“维度”的大小以及如何将两者关联起来，Bigtable也可能是一个很好的解决方案。

鉴于Bigtable非常适合点写入和批处理接收，因此您可能会发现，在“事实”表中维护非常细粒度的数据很容易做到，并且可以在应用程序级别快速进行交互。

• 例如，如果您专注于零售，则“事实”表可以将Bigtable表用于客户购买的历史日志，其中的行包含有关从客户购买的信息。

根据“维度”表的大小，它也可能适用于Bigtable，尤其是在需要快速更新点的情况下。

• 再次拉动零售，您的“维度”表可以是Bigtable表，其中包含存货空间的可用性，描述存在一种类型的物品的数量。

一个重要的警告是Bigtable不支持二级索引：查询中没有办法在这两个Bigtable表之间进行联接，您需要在应用程序端减少值。

有关更多信息，请参见Bigtable文档！

Answer 2

对于BigQuery， 最好让数据保持非规范化。 由于它是列式存储，因此在使用大量数据时不会影响性能。 您可以在这里查看在BigQuery中管理数据的信息。