消費端的並行處理和維護秩序 - Kafka + Camel

Question

我有這個用例，我們使用來自 Kafka 的數據。 Kafka 中的消息將與一個鍵相關聯，以維護每個分區中的順序/順序。 現在，當我使用這些消息時，我必須並行處理這些消息，而且我不應該錯過按鍵分組的消息序列。

為了實現並行性，我們可以使用線程，但不能保證順序。 在我們的用例中，訂購永遠不會受到影響。 感謝在實現並行性 + 排序方面的任何幫助。

Answer 1

您描述的問題是分布式系統領域中非常典型的問題。 例如，它在 JMS 中使用消息分組的概念來解決。 基本上，JMS 代理提供了保證，任何屬於特定組的消息將始終由一個共同的消費者使用，以便尊重 FIFO 排序（在一個組內）。

我不是 Kafka 專家，但我想應該存在類似的機制。