繁体 English 中英

Azure 事件中心到使用数据流的 GCP BigQuery

[英]Azure Event Hub to GCP BigQuery using Dataflow

原文 2022-09-27 14:23:45 2 0 google-bigquery/ google-cloud-dataflow/ azure-eventhub

我们将消息接收到 Azure EventHub。 我们考虑将它们存储并公开到 GCP Bigquery 中。

假设 EventHub 类似于 kafka：

使用数据流模板这样做是否合法？
查看GCP 中的可用模板听起来好像它不包含参数凭据和消费者组。
是否有我们已经可以使用的现有模板？

非常欢迎您的意见和帮助。

谢谢

0 个解决方案

使用 Dataflow 将 CoGroupByKey 接收器左连接到 BigQuery

[英]Left join with CoGroupByKey sink to BigQuery using Dataflow

使用数据流将数据从 MySQL 加载到 BigQuery

[英]Load data from MySQL to BigQuery using Dataflow

使用数据流 Kafka 到 bigquery 模板时出错

[英]Error while using dataflow Kafka to bigquery template

无法使用 Dataflow Apache Beam 沉入 BigQuery

[英]Can not sink to BigQuery using Dataflow Apache Beam

使用 Apache Beam Dataflow Redshift 到 BigQuery

[英]Redshift to BigQuery using Apache Beam Dataflow

GCP Dataflow 将数据流式传输到 BigQuery RAW 表，触发转换/插入数据集市表

[英]GCP Dataflow streaming data to BigQuery RAW table, trigger transformation/insertion into data mart table

GCP 数据流，argparse.ArgumentError 使用 DataflowRunner 而不是 DirectRunner

[英]GCP dataflow, argparse.ArgumentError using DataflowRunner but not DirectRunner

GCP 数据流作业部署

[英]GCP Dataflow Job Deployment

GCP 数据流和 On-premDB

[英]GCP dataflow and On-premDB

使用 Dataflow Apache Beam 接收到 BigQuery 的正确格式

[英]Correct format to sink to BigQuery using Dataflow Apache Beam

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用 Dataflow 将 CoGroupByKey 接收器左连接到 BigQuery 使用数据流将数据从 MySQL 加载到 BigQuery 使用数据流 Kafka 到 bigquery 模板时出错无法使用 Dataflow Apache Beam 沉入 BigQuery 使用 Apache Beam Dataflow Redshift 到 BigQuery GCP Dataflow 将数据流式传输到 BigQuery RAW 表，触发转换/插入数据集市表 GCP 数据流，argparse.ArgumentError 使用 DataflowRunner 而不是 DirectRunner GCP 数据流作业部署 GCP 数据流和 On-premDB 使用 Dataflow Apache Beam 接收到 BigQuery 的正确格式

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM