Kafka生產者和消費者延遲

Question

我的 kafka 生產者將在一秒鍾內推送 3 條消息，我的消費者將消費，每條消息的數據處理時間為 3 秒。

所以在 1 分鍾內生產者將產生 180 條消息，但我的消費者將在 1 分鍾內僅消費 20 條消息。 但我想在 1 分鍾內用完所有消息

誰能給我建議解決它，而不是增加實例

Answer 1

這完全取決於您的消費者邏輯。 您如何從頭到尾處理數據。 Kafka 將消息作為基於偏移量的序列來消費。

如果您的消費者邏輯在並行處理方面沒有問題，我建議您在 Kafka 服務器中添加更多分區。 然后您可以在其上添加多個消費者。

我認為這是一個很好的閱讀關於 Kafka 和多分區https://medium.com/@jhansireddy007/how-to-parallelise-kafka-consumers-59c8b0bbc37a

Answer 2

1. 添加更多分區
2. 增加您的消費者並發性，這將在您的單個實例（進程）中添加更多消費者線程
3. 盡可能加快您的消費者邏輯，這取決於。