无法使用KafkaUtils：Spark 1.6.0创建Java输入dstream。

Question

我正在使用带有Kafka的Spark 1.6.0和工件spark-streaming_2.11 API来消耗字符串消息。

根据文档，我试图使用Kafka utils创建直接流，但出现以下编译器错误：

KafkaUtils类型的方法createDirectStream（JavaStreamingContext，Class，Class，Class，Class，Class，Map，Set）不适用于参数（JavaStreamingContext，Class，Class，Class，Class，Map，Set）

这是我写的代码片段：

conf = new SparkConf().setAppName("Test Streaming App").setMaster("local[*]");
sc = new JavaSparkContext(conf);
ssc = new JavaStreamingContext(sc, new Duration(2000));
Map<String, String> kafkaParams = new HashMap<String, String>();
kafkaParams.put("metadata.broker.list", "localhost:9092");
Set<String> topics = Collections.singleton("test");
JavaPairInputDStream<String, String> dstream = KafkaUtils.createDirectStream(ssc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParams,topics);
ssc.start();
ssc.awaitTermination();

我正在使用的工件和版本是否与此有关？ 请对此加以说明。

Answer 1

问题出在StringDecoder类上，该类似乎不可访问。

按照下面的帖子

无法访问kafka.serializer.StringDecoder

我已按照接受的答案执行了上述步骤，并解决了该问题。