Cloud Pub / Sub和Cloud Dataflow將工作人員修復到主題
[英]Cloud Pub/Sub and Cloud Dataflow fix worker to topic
問題描述
我有一個Google Cloud Pub / Sub和Cloud Dataflow流處理架構，我需要保證消息順序。 是否可以設置訂閱消息流，以便按主題固定數據流工作器，以便消息通過同一數據流工作器路由，因此應實現消息排序。
謝謝
1 個解決方案
解決方案1
0 2018-07-05 16:46:31
當您說需要保證消息的順序時，您的意思是：1.在這種情況下，最終結果的順序很重要，您可以將時間戳記附加到發布者中的每個事件上，並使訂閱者將消息存儲在某些基礎數據存儲中。 2.在這種情況下，已處理消息的順序很重要，您應該執行相同的操作，並要求訂閱者檢查持久性存儲以了解它必須處理的下一條消息。
您可以在此鏈接中閱讀更多內容。
VCP Google Cloud Platform 的 Dataflow Pub/Sub 主題到 BigQuery 未從訂閱中提取數據
[英]VCP Google Cloud Platform's Dataflow Pub/Sub Topic to BigQuery not Pulling data from subscription
主題是在雲pub / sub上創建的，但無法在該主題上創建監視
[英]Topic is created on cloud pub/sub but unable to create watch on that topic
計算總管道延遲（Cloud Functions -> Pub/Sub -> Dataflow -> BQ）
[英]Calculate Total Pipeline latency (Cloud Functions -> Pub/Sub -> Dataflow -> BQ)
為 Google Cloud Workflows、Dataflow 和 Pub/Sub 設計集成測試套件
[英]Designing Integration Test Suite for Google Cloud Workflows, Dataflow & Pub/Sub
cloud-builds pub/sub 主題似乎未列出或無法訪問
[英]cloud-builds pub/sub topic appears to be unlisted or inaccessible
谷歌雲發布/訂閱 - 訂閱者未將消息轉發到死信主題
[英]Google cloud Pub/Sub - subscriber not forwarding messages to dead letter topic
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
數據流模板雲發布/訂閱主題vs訂閱BigQuery
谷歌雲 - 發布/訂閱到 DataFlow
VCP Google Cloud Platform 的 Dataflow Pub/Sub 主題到 BigQuery 未從訂閱中提取數據
主題是在雲pub / sub上創建的，但無法在該主題上創建監視
計算總管道延遲（Cloud Functions -> Pub/Sub -> Dataflow -> BQ）
GCP Dataflow Pub/Sub 到 Cloud Storage 上的文本文件
為 Google Cloud Workflows、Dataflow 和 Pub/Sub 設計集成測試套件
cloud-builds pub/sub 主題似乎未列出或無法訪問
使用 Cloud Pub/Sub 主題在 GCP 中安排 bq 命令行
谷歌雲發布/訂閱 - 訂閱者未將消息轉發到死信主題
相關標簽