[英]How can I Report Kafka Producer's metrics to prometheus(using spring boot)
我正在使用 spring-integration 处理从 UDP 端点到 kafka 的数据流。 我已经在 @Configuration 中使用消费者和生产者配置将一个 replyingKafkaTemplate 初始化为 @Bean。 当我的服务器启动并发送一些 udp 请求后,我可以看到消费者的指标。 但是,即使在生产者配置中设置了 jmx 报告器后,我也看不到生产者的指标。
我尝试不设置生产者指标报告器,假设它会像消费者指标一样自动出现(那里没有额外的配置)
生产者配置
Map<String, Object> configProps = new HashMap<>();
configProps.put(
ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
bootstrapAddress);
configProps.put(
ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class);
configProps.put(
ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
KafkaAvroSerializer.class);
configProps.put("schema.registry.url", "http://schema-regisry-server:8081");
configProps.put(
ProducerConfig.RETRIES_CONFIG,
3);
configProps.put(ProducerConfig.RECONNECT_BACKOFF_MS_CONFIG, 500);
configProps.put(ProducerConfig.RECONNECT_BACKOFF_MAX_MS_CONFIG, 5000);
configProps.put(ProducerConfig.METRIC_REPORTER_CLASSES_CONFIG, "org.apache.kafka.common.metrics.JmxReporter");
configProps.put(ProducerConfig.METRICS_RECORDING_LEVEL_CONFIG, "INFO");
printConfigProps(configProps);
return new DefaultKafkaProducerFactory<>(configProps);
消费者配置
Map<String, Object> properties = new HashMap<>();
properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, KafkaAvroDeserializer.class);
properties.put("schema.registry.url", "http://schema-regisry-server:8081");
properties.put(ConsumerConfig.GROUP_ID_CONFIG, "spring-integration");
// automatically reset the offset to the earliest offset
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
return properties;
kafka模板创建
@Bean
public ReplyingKafkaTemplate<String, DataModel, DataModel> replyKafkaTemplate(ProducerFactory<String, DataModel> pf, KafkaMessageListenerContainer<String, DataModel> container) {
ReplyingKafkaTemplate<String, DataModel, DataModel> template = new ReplyingKafkaTemplate<>(pf, container);
template.start();
return template;
}
侦听器容器创建:
@Bean
public KafkaMessageListenerContainer<String, DataModel> replyContainer(ConsumerFactory<String, DataModel> cf) {
ContainerProperties containerProperties = new ContainerProperties(destinationTopic);
containerProperties.setGroupId("test");
return new KafkaMessageListenerContainer<>(cf, containerProperties);
}
消费者工厂创建
@Bean
public ConsumerFactory<?, ?> consumerFactory() {
return new DefaultKafkaConsumerFactory<>(consumerConfigs());
}
2.3.0 之前的 Spring Boot 2 版本默认仅公开消费者指标。 Spring Boot 2.3.0(几周前发布)依赖于 Micrometer 1.4,它默认公开消费者和生产者指标。 如果你不能使用最新版本的 Spring Boot,你将不得不自己实现它。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.