在Scala中使用Kafka进行火花流

Question

我正在尝试使用IntelliJ在Scala中构建Kafka使用者，以读取来自Kafka主题的消息并将其保存在hdfs上。 我正在使用带有hdp 2.5.3的spark 1.6.2，kafka_2.10-0.10，scala 2.10.5。 我收到以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: kafka.consumer.SimpleConsumer.<init>(Ljava/lang/String;IIILjava/lang/String;Lorg/apache/kafka/common/protocol/SecurityProtocol;)V

从我在这里的研究中，我了解到这是一个jar /依赖关系问题，但仍然无法解决。

Answer 1

您必须确保kafka库可用于Spark运行时。 有几种方法可以确保这一点：

1. 使用--jars“ / location / of / your / kafka-jar”调用spark shell或spark-submit
2. 将与kafka相关的罐子复制到spark安装的“罐子”文件夹中。 （注意：如果在集群上运行，则必须将这些jar复制到所有节点。因此，我建议上述方法在内部由spark为您完成）