在 Kafka Async Producer 出现故障期间如何保证排序？

Question

如果我使用 Kafka Async 生产者，假设缓冲区中有 X 条消息。 当它们在客户端实际处理时，如果代理或特定分区关闭了一段时间，kafka 客户端将重试，如果消息失败，它是否会将特定消息标记为失败并继续下一条消息（这可能导致无序消息）？ 或者，它是否会使批处理中的剩余消息失败以保持顺序？

我接下来要维护排序，所以理想情况下希望 kafka 从失败的地方使批处理失败，所以我可以从失败点重试，我将如何实现？

Answer 1

就像它在关于重试的 kafka 文档中所说的那样

设置大于零的值将导致客户端重新发送任何发送失败并可能出现暂时性错误的记录。 请注意，此重试与客户端在收到错误后重新发送记录的情况没有什么不同。 允许重试可能会更改记录的顺序，因为如果将两个记录发送到单个分区，并且第一个失败并重试但第二个成功，则第二个记录可能首先出现。

因此，回答您的标题问题，没有 kafka 在异步发送下没有顺序保证。

---

我正在更新基于彼得戴维斯问题的答案。

我认为如果你想以批处理模式发送，保护它的唯一方法是设置max.in.flight.requests.per.connection=1但正如文档所说：

请注意，如果此设置设置为大于 1 并且发送失败，则存在由于重试（即，如果启用重试）而导致消息重新排序的风险。

Answer 2

从 Kafka 0.11.0 开始，有enable.idempotence设置，如文档所述。

enable.idempotence ：当设置为true ，生产者将确保每条消息的一个副本被写入流中。 如果为false ，由于代理失败等，生产者重试可能会在流中写入重试消息的副本。 请注意，启用幂等性要求max.in.flight.requests.per.connection小于或等于5 ，重试次数大于 0 并且acks必须为all 。 如果用户未明确设置这些值，则会选择合适的值。 如果设置了不兼容的值，则会抛出ConfigException 。

 Type: boolean Default: false

这将保证消息是有序的，并且在生产者会话期间不会发生丢失。 不幸的是，生产者不能设置序列 id，因此 Kafka 只能为每个生产者会话做出这些保证。

如果您需要设置序列 id ，请查看 Apache Pulsar，这将允许您使用外部序列 id，这将保证在代理和生产者故障转移之间进行有序且仅一次的消息传递。