[英]Google Cloud - How to get data from remote PubSub as input for Apache Beam Pipeline executing locally?
我已經在官方文檔之后配置了一個本地（java）環境來執行Apache Beam Pipeline。
示例項目（WordCount）工作正常，但現在我想更改它並從PubSub主題獲取輸入數據並將輸出放到BigQuery。
我已經創建了我的PubSub主題和我的BigQuery數據集，但我的問題是：如何為本地運行的管道配置REMOTE輸入（pubsub主題）和輸出（BigQuery）（用於調試目的）？
請參閱PubsubIO / PubsubClient （或com.google.cloud.pubsub.v1 ）類。
對於遠程訪問，您很可能需要注冊外部IP。
如何從PubSub主題讀取數據並將其解析到光束管道中並進行打印
[英]How to read and parse data from PubSub topic into a beam pipeline and print it
嘗試在 Dataflow 中使用 Apache Beam 將數據從 Google PubSub 寫入 GCS 時出錯
[英]Getting an Error while trying to write data from Google PubSub to GCS using Apache Beam in Dataflow
Apache Beam 將數據從 Kafka 流式傳輸到 GCS Bucket（不使用 pubsub）
[英]Apache Beam Streaming data from Kafka to GCS Bucket (Not using pubsub)
嘗試從Apache Beam訪問Google Cloud Storage時出現HttpForbiddenError
[英]HttpForbiddenError when trying to access Google Cloud Storage from Apache Beam
如何從 apache 梁（谷歌雲數據流）中的列字符串中刪除特殊字符，包括逗號、引號
[英]How to remove special characters including commas, quotes from a column string in apache beam (Google cloud dataflow)
需要有關單詞“ Google雲” Apache Beam Beam代碼中“ @”符號的詳細信息
[英]Need details of how the “@” symbol in words google cloud apache beam code
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
