卡夫卡喷口错误“消费者未订阅任何主题或未分配任何分区”

Question

我正在使用Storm版本1.1.0和Kafka版本0.10.1.2。

我正在创建卡夫卡壶嘴，如下所示：

public KafkaSpout<String, String> getKafkaSpout() {
    String _kafkaBrokers = (String) props.get("bootstrap.servers");
    String _topic = (String) props.get("kafka.topic.name");
    String groupId = (String) props.get("group.id");
    int maxMsgSize = (int) props.get("fetch.message.max.bytes");
    String keySerializer = (String) props.get("key.serializer");
    String valueSerializer = (String) props.get("value.serializer");

    List<String>topics = new ArrayList<String>(`enter code here`);
    topics.add(_topic);

    return new KafkaSpout<String, String (KafkaSpoutConfig.builder(_kafkaBrokers, topics)
            .setFirstPollOffsetStrategy(FirstPollOffsetStrategy.UNCOMMITTED_EARLIEST)
            .setMaxUncommittedOffsets(100)
            .setProp(ConsumerConfig.GROUP_ID_CONFIG, groupId)
            .setProp(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG,maxMsgSize)
            .setProp("key.serializer",keySerializer)
            .setProp("value.serializer",valueSerializer)
            .build())
}

我得到以下提到的错误

java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions 
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:973) 
at org.apache.storm.kafka.spout.KafkaSpout.pollKafkaBroker(KafkaSpout.java:291) 
at org.apache.storm.kafka.spout.KafkaSpout.nextTuple(KafkaSpout.java:225) 
at org.apache.storm.daemon.executor$fn__9798$fn__9813$fn__9844.invoke(executor.clj:647) 
at org.apache.storm.util$async_loop$fn__555.invoke(util.clj:484) 
at clojure.lang.AFn.run(AFn.java:22) at java.lang.Thread.run(Thread.java:745) 

以及其他依赖项，我在下面提到了项目中的Maven依赖项

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-kafka-client</artifactId>
    <version>1.1.0.2.6.2.0-205</version>
</dependency>
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-kafka</artifactId>
    <version>1.1.0.2.6.2.0-205</version>
</dependency>

Answer 1

我假设List<String>topics = new ArrayList<String>("enter code here"); 是你的问题吗？ 您可能需要在该列表中输入主题名称。

您的依赖版本是奇怪的，AFAIK Storm尚未使用这些版本字符串发布任何内容。

我还想知道为什么同时需要Storm-kafka-client（用于Kafka> 0.10群集）和storm-kafka（用于较旧的Kafka群集）（但我认为目前仍与最新的Kafka兼容）。