是否可以使用 Apache Beam / Google Cloud Dataflow 從 Azure EventHub 主題中使用？
[英]Is it possible to consume from an Azure EventHub topic using Apache Beam / Google Cloud Dataflow?
原文
2020-01-09 15:01:41
9
2
google-cloud-dataflow/
apache-beam/
google-cloud-pubsub/
azure-eventhub/
streaming-analytics
問題描述
問題
我們想使用 Google Cloud 中的數據流管道從 Azure 中的 EventHub 主題進行消費。
題
是否知道 KafkaIO 是否允許在 Apache Beam/Google Cloud 數據流作業中直接從 EventHub 進行消費？ （見這個帖子）
將 EventHub 數據導入 Pub/Sub 的替代方法也很受歡迎（例如從 Azure 流分析發布到 Pub/Sub）
謝謝！
2 個解決方案
解決方案1
3 已采納 2020-01-10 22:03:47
Azure 事件中心支持Apache Kafka 協議 1.0 和更高版本，因此您應該能夠使用KafkaIO （支持 Kafka 版本 0.10.1 和更高版本）使用來自事件中心的事件。 Google Cloud 在此處提供了在 Dataflow 中處理來自 Kafka 的消息的指南。
解決方案2
1 2020-01-09 16:46:45
Azure 事件中心與 Kafka 協議二進制兼容，因此任何 Kafka 客戶端或管道都應該能夠使用來自事件中心主題的事件。
是否可以在 Apache 光束或谷歌雲數據流中運行自定義 python 腳本
[英]Is it possible to run a custom python script in Apache beam or google cloud dataflow
使用 Google Cloud Dataflow 在 Apache Beam 中進行 Json 驗證
[英]Json Validation in Apache beam using Google Cloud Dataflow
Google Cloud Dataflow如何使用Apache Beam從BigQuery讀取數據？
[英]How does google cloud Dataflow read from BigQuery using apache beam?
使用 Dataflow + Beam + Python 從 Google Cloud Storage 讀取 Shapefile
[英]Read Shapefile from Google Cloud Storage using Dataflow + Beam + Python
一旦使用 apache 光束 sdk 在 Google Cloud 中創建數據流作業，我們可以從雲存儲桶中刪除 tmp 文件嗎？
[英]Once dataflow job is created in Google Cloud using apache beam sdk, can we delete the tmp files from cloud storage bucket?
Apache Beam / Google Dataflow-將數據從Google數據存儲導出到Cloud Storage中的文件
[英]Apache Beam/Google Dataflow - Exporting Data from Google Datastore to File in Cloud Storage
如何在Google Cloud Dataflow / Apache Beam中並行運行多個WriteToBigQuery？
[英]How to run multiple WriteToBigQuery parallel in google cloud dataflow / apache beam?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Google Cloud上的Apache Beam數據流
是否可以在 Apache 光束或谷歌雲數據流中運行自定義 python 腳本
使用 apache 梁/谷歌雲數據流讀取多行 JSON
使用 Google Cloud Dataflow 在 Apache Beam 中進行 Json 驗證
Google Cloud Dataflow如何使用Apache Beam從BigQuery讀取數據？
使用 Dataflow + Beam + Python 從 Google Cloud Storage 讀取 Shapefile
一旦使用 apache 光束 sdk 在 Google Cloud 中創建數據流作業，我們可以從雲存儲桶中刪除 tmp 文件嗎？
Google DataFlow Apache Beam
Apache Beam / Google Dataflow-將數據從Google數據存儲導出到Cloud Storage中的文件
如何在Google Cloud Dataflow / Apache Beam中並行運行多個WriteToBigQuery？
相關標簽