将Google数据存储区和bigquery数据连接在一起

Question

我需要制作一个记录集，以及谷歌bigquery和数据存储数据的组合视图。 需要将记录集返回到app-engine上的烧瓶webapp，将其格式化为报告的形式。

从概念上讲，我想构建以下查询;

select bq.column1, bg.column2, bq.column3,
       ds.column4, ds.column5, ds.column6
from bigquery bq join datastore ds on bq.uniquekey = ds.uniquekey
where bq.column10 in ('some list of filters')

bigquery数据保存事务信息（并进行分区和调整），数据存储区保存等效的维度数据。 唯一键是数据存储区中的id列

我可以使用python在google app-engine中针对这两个数据源构建查询。 我试图避免编写一个包含新组合数据的新表，而是提供关系的实时视图。

数据存储区中大约有25k个实体，每天生成<100个实体，而biquery中的5M +实体以每小时10000个记录的速度增长。 我需要在5秒内将报告返回给用户。

有没有办法在不保存数据视图的情况下实时执行此操作？

Answer 1

没有办法直接这样做。 相反，您可能想要做的是在BigQuery上执行查询，然后如果ds.uniquekey实际上是数据存储区实体键，那么您可以从BigQuery查询的结果返回中对每个数据存储区实体进行查找。