将 Collections 导出到 BigQuery

Question

我尝试使用Export Collections to BigQuery BigQuery将集合导出到 BigQuery。
但我无法导出所有 collections。

我需要使用Export Collections to BigQuery extensions 将所有集合和子集合导出到 BiqQuery

我只能导出一个集合，但不能全部导出。

谁能帮我导出所有 collections 和子集合？

Answer 1

您可以尝试通过运行命令的信息，水桶或本地文件导出gcloud firestore export gs://mybucket/my/path提到 这里。 这将使用单个命令导出所有集合。

我建议您将其导出到 GCS，但是，您可以按照以下方法之一将信息加载到 BigQuery。

您使用的扩展程序很可能存在问题，因为扩展程序仍处于测试阶段，但您仍然可以打开功能请求，以便他们将来为扩展程序添加更多功能和/或直接报告任何错误。

希望你觉得这个有用！

Answer 2

您可以安装第二个扩展“将集合流式传输到 biquery”以将第二个集合导出到 BQ。 只需转到菜单扩展程序，您就第一次这样做了

Answer 3

One thing that was helpful for me was to go to the Cloud Functions section for my Firebase project, hop over to the GCP console side of things, and download a zip of the source code deployed for my ext-firestore-bigquery-export-fsexportbigquery function。

在那里，我注意到process.env.COLLECTION_PATH的值最终会传递给functions.firestore.document() ，它只是构建一个命名空间的集合路径，通配符可以在路径中的任何级别使用......并且这就是魔法。

如果您将收集路径设置为简单的通配符变量，例如“{AnyCollection}”，那么 function 将捕获 Firestore DB 中所有 collections 的事件。 只需要一个扩展实例。

整体解决方案：

• 将集合路径设置为“{AnyCollection}”
• 将表 ID设置为表明它是多集合的东西，例如“AnyCollection”
• 将带有父 Firestore 文档 ID 的通配符列字段设置为 true 会很有帮助，尽管不是必需的。
  • 您还可以从 BigQuery 表中的document_name列中查询集合的名称，其中包括诸如“projects/my-firebase-project/databases/(default)/documents/my-firestore-collection/U5OeEv7jZCY8ja0g2gLr”之类的路径。