如何在Java中获取Kafka主题延迟

Question

我想在Java中查看kafka主题的滞后位置。 这里有人说下面的代码可以工作。

AdminClient client = AdminClient.createSimplePlaintext("localhost:9092");
Map<TopicPartition, Object> offsets = JavaConversions.asJavaMap(
client.listGroupOffsets("groupID"));
Long offset = (Long) offsets.get(new TopicPartition("topic", 0));

但是当我尝试导入kafka.admin.AdminClient时 ， listGroupOffsets方法不存在。 请帮我解决一下这个。

Answer 1

从0.10.2开始，方法listGroupOffsets已引入AdminClient.scala 。 有关详细信息，请参见KAFKA-3853 。 因此，您应该使用Kafka 0.10.2.0或更高版本。

Answer 2

您可以使用https://github.com/yahoo/kafka-manager并可以使用其http Rest API获取消费者组延迟和其他详细信息。

Answer 3

我正在使用Spring框架。 使用下面的代码，您可以通过java获取指标。

@Component
public class Receiver {

private static final Logger LOGGER =
  LoggerFactory.getLogger(Receiver.class);


@Autowired
private KafkaListenerEndpointRegistry kafkaListenerEndpointRegistry;

  public void testlag() {
  for (MessageListenerContainer messageListenerContainer : kafkaListenerEndpointRegistry
            .getListenerContainers()) {
      Map<String, Map<MetricName, ? extends Metric>> metrics = messageListenerContainer.metrics();
      metrics.forEach( (clientid, metricMap) ->{
          System.out.println("------------------------For client id : "+clientid);
          metricMap.forEach((metricName,metricValue)->{
              //if(metricName.name().contains("lag"))
              System.out.println("------------Metric name: "+metricName.name()+"-----------Metric value: "+metricValue.metricValue());
          });
      });
        }
  }