[英]Is it possible to consume from an Azure EventHub topic using Apache Beam / Google Cloud Dataflow?
Problem问题
We'd like to consume from an EventHub topic in Azure using a dataflow pipeline in Google Cloud.我们想使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题进行消费。
Question题
Is it known whether KafkaIO allows for consuming from EventHubs directly in an Apache Beam/Google Cloud dataflow job?是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHub 进行消费? (see this post )
(见这个帖子)
Alternative approaches for getting the EventHub data into Pub/Sub are also appreciated (eg Publish from Azure Streaming Analytics to Pub/Sub)将 EventHub 数据导入 Pub/Sub 的替代方法也很受欢迎(例如从 Azure 流分析发布到 Pub/Sub)
Thank you!谢谢!
Azure Event Hubs supports the Apache Kafka protocol 1.0 and later , so you should be able to consume events from Event Hubs using KafkaIO (which supports Kafka versions 0.10.1 and newer). Azure 事件中心支持Apache Kafka 协议 1.0 和更高版本,因此您应该能够使用KafkaIO (支持 Kafka 版本 0.10.1 和更高版本)使用来自事件中心的事件。 Google Cloud has a guide for processing messages from Kafka in Dataflow here .
Google Cloud 在此处提供了在 Dataflow 中处理来自 Kafka 的消息的指南。
Azure 事件中心与 Kafka 协议二进制兼容,因此任何 Kafka 客户端或管道都应该能够使用来自事件中心主题的事件。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.