如何在spring-kafka中的每条kafka消息之后提交？

Question

在我们的应用程序中，我们使用 kafka 消费者来确定发送 email。

前几天我们遇到了一个问题，kafka 分区在读取和处理所有记录之前就超时了。 结果，它循环回到分区的开头，并且无法完成它收到的记录集，并且循环开始后生成的新数据从未得到处理。

我的团队建议我们可以告诉 Kafka 在读取每条消息后提交，但是我无法从 Spring-kakfa 中弄清楚如何做到这一点。

该应用程序使用 spring-kafka 2.1.6，消费者代码有点像这样。

@KafkaListener(topics = "${kafka.topic}", groupId = "${kafka.groupId}")
public void consume(String message, @Header("kafka_offset") int offSet) {
    try{
        EmailData data = objectMapper.readValue(message, EmailData.class);
        if(isEligableForEmail(data)){
            emailHandler.sendEmail(data)
        }
    } catch (Exception e) {
        log.error("Error: "+e.getMessage(), e);
    }
}

注意：sendEmail function 使用 CompletableFutures，因为它必须在发送 email 之前调用不同的 API。

配置：（消费者的 yaml 文件的片段，以及生产者的一部分）

consumer:
      max.poll.interval.ms: 3600000
producer: 
      retries: 0
      batch-size: 100000
      acks: 0
      buffer-memory: 33554432
      request.timeout.ms: 60000
      linger.ms: 10
      max.block.ms: 5000

Answer 1

如果您想要手动确认，那么您可以在方法 arguments 中提供Acknowledgment

@KafkaListener(topics = "${kafka.topic}", groupId = "${kafka.groupId}")
public void consume(String message, Acknowledgment ack, @Header("kafka_offset") int offSet) {

使用手动 AckMode 时，您还可以向侦听器提供确认。 以下示例还展示了如何使用不同的容器工厂。

来自文档@KafkaListener Annotation的示例

@KafkaListener(id = "cat", topics = "myTopic",
      containerFactory = "kafkaManualAckListenerContainerFactory")
public void listen(String data, Acknowledgment ack) {
...
ack.acknowledge();

}

Answer 2

将容器ackMode属性设置为AckMode.RECORD以在每条记录后提交偏移量。

您还应该考虑减少max.poll.records或增加max.poll.interval.ms Kafka 消费者属性。