将数据从 Firestore 导入 bigQuery

Question

我已将我的帐户升级为 blaze，这是先决条件之一。 我试图按照常见问题链接 BigQuery 到 Firebase。 仍然无法在 bigQuery 中看到来自 firestore 或 firebase-realtimeDatabase 的任何数据。

我在 bigQuery 中看到创建数据集的选项。 但是在创建数据集后，它允许我从 [file], [cloud storage], [bigQuery],[google Drive] 上传数据。 但不是 Firestore 数据库。

请帮忙。

Answer 1

Firestore 现在允许导入/导出数据。 数据会导出到 Cloud Storage 存储分区，然后可以从那里导入 Big Query。 以下是一些可能有用的链接：

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore（Firestore使用与 Datastore 相同的格式进行导入/导出）

** 编辑：现在可以从 Firestore 导入 BigQuery 的文档https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Answer 2

伙计们，有一个将数据导入bigquery的示例

https://github.com/firebase/functions-samples/tree/master/bigquery-import

运气..

Answer 3

万一有人需要它。 我最终自动化了脚本，因为当前的导出数据选项只允许流数据并保留 30 天。

导出数据

gcloud beta firestore export --collection-ids=users gs://mybucket/users

将备份加载到 bq

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

Answer 4

您现在可以使用 Firebase 扩展程序将数据从 Cloud Firestore 导出到 BigQuery。 请参阅： https : //firebase.google.com/products/extensions/firestore-bigquery-export

另请参阅 David 关于如何导入/导出数据的回答。

下面过时的答案：

没有内置支持将数据从 Firebase 实时数据库或 Cloud Firestore 导入 BigQuery。

\n

目前，如果您想导入数据，则必须编写代码来执行此操作。

Answer 5

我制作了一个 NPM 包，可让您根据 Firestore 数据使用自动生成的架构创建 BigQuery 数据集和表，然后复制和转换所选的 Firestore 集合。

https://www.npmjs.com/package/firestore-to-bigquery-export

Answer 6

您应该使用 Firebase 内置的 BigQuery 导出扩展

查看详情： https : //firebase.google.com/products/extensions/firestore-bigquery-export

现在，此扩展程序将导入到您的 BigQuery 表中，新创建/更新/删除的文档在集合中，在添加新数据之前，您当前的旧数据不会放置在此表中。

要导入所有以前的数据，您首先需要安装扩展程序，因为在不安装扩展程序的情况下首先进行导出时的所有写入都将丢失。

安装扩展后，只需使用 gcloud 导出所有当前数据集

https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md

Answer 7

现在还有一个扩展程序可以做到https://github.com/firebase/extensions/tree/master/firestore-bigquery-export