無法獲得 kafka 的偏移滯后。 原因：org.apache.kafka.shaded.common.config.ConfigException

Question

我正在本地機器上測試storm+kafka 集成。 我有風暴版本 1.2.3 和 Kafka 2.5.0。 我正在使用https://github.com/pvillard31/storm-kafka-kerberos/blob/master/src/main/java/example/KafkaStormKafkaTopology.java中的代碼作為我的測試代碼。

每當我提交拓撲時，我都會收到以下錯誤

Unable to get offset lags for kafka. Reason: org.apache.kafka.shaded.common.config.ConfigException: Invalid value 
org.apache.kafka.common.serialization.StringDeserializer for configuration value.deserializer: 
Class org.apache.kafka.common.serialization.StringDeserializer could not be found. 
at org.apache.kafka.shaded.common.config.ConfigDef.parseType(ConfigDef.java:671) 
at org.apache.kafka.shaded.common.config.ConfigDef.parse(ConfigDef.java:418) 
at org.apache.kafka.shaded.common.config.AbstractConfig.<init>(AbstractConfig.java:56) 
at org.apache.kafka.shaded.common.config.AbstractConfig.<init>(AbstractConfig.java:63) 
at org.apache.kafka.shaded.clients.consumer.ConsumerConfig.<init>(ConsumerConfig.java:414) 
at org.apache.kafka.shaded.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:584) 
at org.apache.kafka.shaded.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:566) 
at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:230) 
at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.main(KafkaOffsetLagUtil.java:144)

知道為什么我會收到此錯誤嗎？ 我該如何解決這個問題？

我看到過去在https://stackoverflow.com中提出了類似的問題

Class org.apache.kafka.abstracts.serialization.StringDeserializer could not be found However, in my case the Deserializer is used as "org.apache.kafka.common.serialization.StringDeserializer"

props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

Answer 1

我遇到了同樣的問題，並認為storm-kafka-monitor-1.2.3可能會導致問題，因為它使用maven-shade-plugin重新定位原始kafka 包。 因此KafkaConsumer在運行時發生碰撞。 從pom非常明顯。

但是，它似乎在storm-kafka-monitor-2.0.0中得到解決。 我還沒有嘗試過，如果我成功了，我會更新我的帖子。