Kafka Rest Proxy Api 消息分布不均勻

Question

我有 2 個分區和 avro 格式的消息。 我通過 kafka rest 代理 api 發送消息。我使用消息的密鑰。 鍵是一個字符串。 例如，有我的鑰匙：

41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。

但是消息分布不均勻。 在分區 0 中，有密鑰為 41:46-300、41:45-300、41:44-300、41:43-300 的消息，而在分區 1 中，只有密鑰為 41:42-300 的消息。

卡夫卡版本：2.4

你能解釋一下為什么會這樣嗎？

Answer 1

Kafka 使用 Murmur2 哈希來分發密鑰，而不是均勻分布的循環機制。

因此，這意味着同一分區中的所有事件都以對那個分區取模的散列結束。