將數據從 Firestore 導入 bigQuery

Question

我已將我的帳戶升級為 blaze，這是先決條件之一。 我試圖按照常見問題鏈接 BigQuery 到 Firebase。 仍然無法在 bigQuery 中看到來自 firestore 或 firebase-realtimeDatabase 的任何數據。

我在 bigQuery 中看到創建數據集的選項。 但是在創建數據集后，它允許我從 [file], [cloud storage], [bigQuery],[google Drive] 上傳數據。 但不是 Firestore 數據庫。

請幫忙。

Answer 1

Firestore 現在允許導入/導出數據。 數據會導出到 Cloud Storage 存儲分區，然后可以從那里導入 Big Query。 以下是一些可能有用的鏈接：

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore（Firestore使用與 Datastore 相同的格式進行導入/導出）

** 編輯：現在可以從 Firestore 導入 BigQuery 的文檔https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Answer 2

伙計們，有一個將數據導入bigquery的示例

https://github.com/firebase/functions-samples/tree/master/bigquery-import

運氣..

Answer 3

萬一有人需要它。 我最終自動化了腳本，因為當前的導出數據選項只允許流數據並保留 30 天。

導出數據

gcloud beta firestore export --collection-ids=users gs://mybucket/users

將備份加載到 bq

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

Answer 4

您現在可以使用 Firebase 擴展程序將數據從 Cloud Firestore 導出到 BigQuery。 請參閱： https : //firebase.google.com/products/extensions/firestore-bigquery-export

另請參閱 David 關於如何導入/導出數據的回答。

下面過時的答案：

沒有內置支持將數據從 Firebase 實時數據庫或 Cloud Firestore 導入 BigQuery。

\n

目前，如果您想導入數據，則必須編寫代碼來執行此操作。

Answer 5

我制作了一個 NPM 包，可讓您根據 Firestore 數據使用自動生成的架構創建 BigQuery 數據集和表，然后復制和轉換所選的 Firestore 集合。

https://www.npmjs.com/package/firestore-to-bigquery-export

Answer 6

您應該使用 Firebase 內置的 BigQuery 導出擴展

查看詳情： https : //firebase.google.com/products/extensions/firestore-bigquery-export

現在，此擴展程序將導入到您的 BigQuery 表中，新創建/更新/刪除的文檔在集合中，在添加新數據之前，您當前的舊數據不會放置在此表中。

要導入所有以前的數據，您首先需要安裝擴展程序，因為在不安裝擴展程序的情況下首先進行導出時的所有寫入都將丟失。

安裝擴展后，只需使用 gcloud 導出所有當前數據集

https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md

Answer 7

現在還有一個擴展程序可以做到https://github.com/firebase/extensions/tree/master/firestore-bigquery-export