[英]Is there way to read the message id of a google pubsub message using apache beam
嗨，我正在嘗試使用apap Beam從pubsub提取消息
PubsubIO.readMessagesWithAttributes().fromSubscription(myTopic)
我正在嘗試將有效負載插入到bigquery中。 我想檢索pubsub將生成的消息ID。
但我無法獲取它，屬性也沒有消息ID。
任何幫助表示贊賞。
到目前為止，這是一個問題，目前已在此https://issues.apache.org/jira/browse/BEAM-3489中進行了跟蹤
我們通過生成UUID來解決此問題，並將消息存儲在BQ中。
使用TableRowJsonCoder在BEAM中將PubSub消息轉換為TableRow
[英]Using TableRowJsonCoder to convert PubSub Message to TableRow in BEAM
Apache Beam - RabbitMq Read - 失敗確認消息並引發異常
[英]Apache Beam - RabbitMq Read - fail ack message and exception raised
連續使用異步提取從Google PubSub接收消息
[英]Receive message from Google PubSub continuously using Asynchronous Pull
如何使用 google pubsub java 庫處理消息確認期間的錯誤？
[英]How to handle errors during message acknowledgement using google pubsub java library?
我無法在 Spring Boot 中使用 google pubsub 模擬器發送消息
[英]I can't send message using google pubsub emulator in spring boot
是否有可以從 Google Spanner 讀取 JSON 的 Apache Beam 版本？
[英]Is there a version of Apache Beam that can read JSON from Google Spanner?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.