Flink程序中如何获取Kafka消费者偏移量信息

Question

我正在使用 Flink 的 FlinkKafkaConsumer010 和 Kafka 1.1 版。
我想在我的代码中获取偏移滞后信息

Answer 1

Flink Kafka连接器公制

commitOffsets：每个分区最后一次成功提交到Kafka的偏移量。 可以通过主题名称和分区ID来指定特定分区的指标。

currentOffsets：每个分区的使用者当前读取偏移量。 可以通过主题名称和分区ID来指定特定分区的指标。

Answer 2

val endOffset = new PartitionOffsetsRetrieverImpl(
      kafkaConsumer,
      kafkaAdminClient,
      "group_" + System.currentTimeMillis()
    ).endOffsets(util.Arrays.asList(topicPartition)).get(topicPartition)

这里 kafkaConsumer 是 org.apache.kafka.clients.consumer.KafkaConsumer obj

和 kafkaAdminClient 是 org.apache.kafka.clients.admin.AdminClient obj

这可以改进，因为每次它都会创建 kafka 消费者实例并且效率不高。