Dataflow - 将 avro 对象存储到未知的 GCS 文件夹
[英]Dataflow - Store avro objects to unknown GCS folders
原文
2020-02-20 15:41:52
9
1
google-bigquery/
google-cloud-storage/
google-cloud-dataflow/
avro/
google-cloud-pubsub
问题描述
我有一个 DataFlow 管道，它使用来自 Cloud Pub/Sub 的 JSON 消息，将它们转换为 Avro 并将它们存储到 Google Cloud Storage。
有没有办法让 DataFlow 根据某个 JSON 字段将每个 Avro 对象存储到 GCS 中的不同文件夹，如果它的值实际上可以是任何东西？
此文件夹结构的目标是随后使用带有 Cloud Functions 的 PubSub 通知将每个结果文件加载到不同的 BigQuery 表。
1 个解决方案
解决方案1
1 2020-02-25 04:40:30
这里的writeDynamic()函数是否满足您的需求？ 似乎该页面上的“示例：将 CSV 文件写入不同的目录和不同的标题”与您想要做的类似。
使用自定义列名将具有嵌套记录的Avro文件加载到GCS
[英]Load Avro file to GCS with nested record using customized column name
在BigQuery上以AVRO格式在BigQuery中创建外部表时出现大小问题
[英]Size issue while creating external table in BigQuery on GCS in AVRO format
从 pubsub->bigquery 移动到 pubsub->gcs (avro)->bigquery
[英]Moving from pubsub->bigquery to pubsub->gcs (avro)->bigquery
Dataflow GCS 到 BigQuery - 如何为每个输入输出多行？
[英]Dataflow GCS to BigQuery - How to output multiple rows per input?
Beam Dataflow Pipeline Table Creation Sink 作为来自 GCS 的 Bigquery
[英]Beam Dataflow Pipeline Table Creation Sink as Bigquery from GCS
将 Bigquery 表导出到 gcs 存储桶到与集群对应的多个文件夹/文件中
[英]Export Bigquery table to gcs bucket into multiple folders/files corresponding to clusters
使用 Dataflow 的 DLP 从 GCS 读取并写入 BigQuery - 只有 50% 的数据写入 BigQuery
[英]Used Dataflow's DLP to read from GCS and write to BigQuery - Only 50% data written to BigQuery
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
数据流GCS到BQ问题
将 Dataflow 模板 GCS 调试到 BigQuery
数据流管道失败-“未知”
使用自定义列名将具有嵌套记录的Avro文件加载到GCS
在BigQuery上以AVRO格式在BigQuery中创建外部表时出现大小问题
从 pubsub->bigquery 移动到 pubsub->gcs (avro)->bigquery
Dataflow GCS 到 BigQuery - 如何为每个输入输出多行？
Beam Dataflow Pipeline Table Creation Sink 作为来自 GCS 的 Bigquery
将 Bigquery 表导出到 gcs 存储桶到与集群对应的多个文件夹/文件中
使用 Dataflow 的 DLP 从 GCS 读取并写入 BigQuery - 只有 50% 的数据写入 BigQuery
相关标签