如何使用扩展将所有数据从 firestore 获取到 bigquery

Question

我是 firebase 和 bigquery（以及所有 gcp 服务）的新手，我正在尝试使用 firebase 内部的扩展，将我的 firestore 数据库连接到 BigQuery。 我似乎已正确设置它，但它只显示从我安装扩展程序开始的数据（没有旧数据）。 我想在我的 firestore 数据库中查看所有旧数据和任何新数据。 如何才能做到这一点？

Answer 1

从Stream Collections 到 BigQuery扩展的文档：

如果您在指定集合中创建、更新、删除或导入文档，此扩展程序会将更新发送到 BigQuery。 然后，您可以对该镜像数据集运行查询。

因此（正如 Doug 所评论的那样）它不会导出集合的现有内容，而只会从您安装扩展程序的那一刻起流式传输更改。

有一个关于回填 BigQuery 数据集的部分说：

此扩展仅发送已更改文档的内容——它不会将现有文档的完整数据集导出到 BigQuery。 因此，要使用集合中的所有文档回填 BigQuery 数据集，您可以运行此扩展程序提供的导入脚本。

重要提示：安装此扩展后，对整个集合运行导入脚本，否则导入期间对数据库的所有写入都可能丢失。