Kafka Rest Proxy Api 消息分布不均匀

Question

我有 2 个分区和 avro 格式的消息。 我通过 kafka rest 代理 api 发送消息。我使用消息的密钥。 键是一个字符串。 例如，有我的钥匙：

41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。

但是消息分布不均匀。 在分区 0 中，有密钥为 41:46-300、41:45-300、41:44-300、41:43-300 的消息，而在分区 1 中，只有密钥为 41:42-300 的消息。

卡夫卡版本：2.4

你能解释一下为什么会这样吗？

Answer 1

Kafka 使用 Murmur2 哈希来分发密钥，而不是均匀分布的循环机制。

因此，这意味着同一分区中的所有事件都以对那个分区取模的散列结束。