从 BigQuery 导出的 Firebase 事件
[英]Firebase events export from BigQuery
问题描述
Is there a recommended way of exporting firebase events to Google Cloud Storage (for example Parquet format)?
是否有将 firebase 事件导出到 Google Cloud Storage 的推荐方法（例如 Parquet 格式）？ If I export my data to BigQuery, what is the best way to have the data consistently pushed to GCP Cloud Storage?如果我将数据导出到 BigQuery，将数据持续推送到 GCP Cloud Storage 的最佳方式是什么？
The reason is that I have daraproc jobs dealing with parquet files in Cloud Storage, I want my firebase data to be accessible in the same way.原因是我在 Cloud Storage 中有处理 parquet 文件的 daraproc 作业，我希望我的 firebase 数据能够以相同的方式访问。
1 个解决方案
解决方案1
1 已采纳 2020-05-14 07:04:48
Exporting data from BigQuery directly as parquet file is not supported currently.目前不支持将 BigQuery 中的数据直接导出为 parquet 文件。
BigQuery supports three format now, BigQuery 现在支持三种格式，
- CSV CSV
- Avro阿夫罗
- JSON JSON
You have option to transform data to parquet file using Apache Beam & Google Cloud Dataflow.您可以选择使用 Apache Beam 和 Google Cloud Dataflow 将数据转换为镶木地板文件。 Use ParquetIO to transform data after reading data from BigQuery and write it to Cloud Storage.从 BigQuery 读取数据后，使用 ParquetIO 转换数据并将其写入 Cloud Storage。
Reference参考
Exporting Data(BigQuery)导出数据（BigQuery）
https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types
ParquetIO(Apache Beam) https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html ParquetIO(Apache Beam) https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.