spark，kafka集成问题：对象kafka不是org.apache.spark.streaming的成员

Question

我在IntelliJ IDE中构建我的spark应用程序（scala）时收到错误。 这是一个简单的应用程序，使用Kafka Stream进行进一步处理。 我添加了所有jar，IDE没有显示任何未解析的导入或代码语句。

但是，当我尝试构建工件时，我得到两个错误，指出错误：（13,35）对象kafka不是包的成员

org.apache.spark.streaming
import org.apache.spark.streaming.kafka.KafkaUtils

Error:(35, 60) not found: value KafkaUtils
    val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)

我已经看到了类似的问题，但大多数人都在提交火花时抱怨这个问题。 然而，我落后于那一步，仅仅构建了最终提交给火花的jar文件。 最重要的是我使用IntelliJ IDE和一些新的spark和scala; 迷路了。

下面是IntelliJ Error IntelliJ Error的快照

谢谢

奥马尔

Answer 1

原因是你需要将spark-streaming-kafka-K.version-Sc.version.jar到你的pom.xml以及你的spark lib目录中。