题为scala错误的intellij想法：import org.apache.spark。{SparkContext，SparkConf}

Question

我正在使用具有scala集成的智能想法（如eclipse），我创建了一个scala sbt项目，使用了spark 1.4.0和scala 2.11.6，但在输入org.apache.spark时遇到了错误。{SparkContext，SparkConf }

文件buid.sbt包含以下代码：

名称：=“简单”

版本：=“ 1.0”

scalaVersion：=“ 2.11.6”

libraryDependencies + =“ org.apache.spark”％“ spark-core_2.10”％“ 1.4.0”

当我使用maven来构建Java应用程序时，我没有问题，只是问题是当我尝试使用intellij想法用sbt构建scala应用程序时

Answer 1

您的scala版本和spark scala版本错误。 更改您的火花依赖：

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0"

Answer 2

您不能将Spark-core_2.10与Scala 2.11.6版一起使用。

2.10和2.11不二进制兼容。

您可能需要spark-core_2.11

Answer 3

也许您需要阅读以下内容： https : //github.com/mpeltonen/sbt-idea 。 您需要在配置plugins.sbt和build.sbt之后运行sbt gen-idea