扩展分区时的Kafka主题排序

Question

考虑您的生产者为系统用户创建消息，并且消息的顺序在用户级别很重要。

我的生产者，将消息添加到具有两个分区的主题，并且我正在对user_id使用散列，以将每个用户的所有消息放在同一分区中以保证顺序。

如何在保持消息顺序的同时扩展系统并向主题添加更多分区？

Kafka如何处理分区之前已经产生的消息？ 消耗但未提交回Kafka更新偏移量的消息会发生什么情况？

Answer 1

1.在消费者客户端使用树集（有序集）缓存消息，保持1分钟（或更少）； kafka只保证一个分区的顺序，我想生产者也不能保证顺序。

2.如果您没有手动提交偏移量，则在下一个获取请求中，将收到相同的消息。 无论如何，在消费者客户端，即使您已承诺偏移量，也应确保消息幂等。