簡體   English   中英

我們可以按時期用 Kafka 創建批處理嗎?

[英]Can we create batch with Kafka by period?

假設我們有一個包含許多分區的主題,每個分區都有鍵“id”。 那些訂閱特定“id”的消費者將收到消息。

除了擁有多個分區外,我們還希望根據給定的頻率在每個分區中創建批次。 每個“id”(分區)都有自己的頻率配置(例如 ID1 的頻率為 5 分鍾,ID2 的頻率為 10 分鍾)。 當 ID1 的頻率為 5 分鍾時,這意味着我們將每 5 分鍾創建一批消息並發送給消費者。

Kafka中是否可以配置頻率? 我已經看到支持每批最大消息數但不支持頻率的配置。 請賜教。

聽起來更像是經典KafkaConsumer未實現的windowing算法。 看看 Kafka Streams 是否會解決您的請求: https://developer.confluent.io/learn-kafka/kafka-streams/windowing/

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM