kafka 服务器重启后丢失未处理的消息

Question

我已经保留了auto.offset.reset = earliest

这里我的情况不同；

我有 1 个动物园管理员和 3 个经纪人。现在我停止了消费者并开始发布消息（假设有 4 条消息，后来我停止了 Kafka 服务器（1 个动物园管理员和 3 个经纪人），现在我组成了消费者。一段时间后我组成了 Kafka 服务器（1 个动物园管理员和 3 个经纪人）。

由于我的 4 条消息未由消费者处理，因此现在应该处理，但这并没有发生。

Answer 1

这是正常行为。 如果没有代理可用，则您无法生成消息，因此消息会丢失。 在这种情况下，您的生产者在尝试生成消息时应该会收到一个错误：然后他必须处理这种情况并保持不发布消息，直到至少有一个 Kafka 代理可用。