Kafka 消费者再次收到相同的消息

Question

我有一个包含 30 个实例的 golang 服务。 有一个具有 3 个分区的主题和一个监听消息的消费者组。 我们面临的问题是，同一消费者一次又一次地接收每条消息，间隔为 24-30 小时。 我已经确认消息被推送到主题一次，甚至每次消息都是相同的，但消息是在不同的时间间隔被提取的，例如：

• 2021 年 6 月 2 日，12:59:29.555
• 2021 年 6 月 3 日，20:33:11.438
• 2021 年 6 月 5 日，12:08:40.710
• 2021 年 6 月 6 日，12:34:39.188

有人可以帮忙解决问题可能是什么。 谢谢

Answer 1

1. 您不需要 30 个实例来使用 3 个分区。 因为消费者实例之间不共享分区。 因此，如果您的主题有 3 个分区，那么您的最大消费者实例数应该是 3。

2. 如果您的消费者在消费后没有提交阅读按摩，则可能会发生重新消费。 查看消费者提交间隔并启用或禁用自动提交。 如果您的消费消息没有提交，那么在消费者发生重新平衡后，这些消息可以被重新消费。