在IntelliJ中運行Spark-Scala示例錯誤

Question

我在Intellij中構建Scala項目，並嘗試運行Apache Spark示例。 這是我的代碼：

package sparkTraining

import org.apache.spark.{SparkConf, SparkContext}

object SimpleApp {
 def main(args: Array[String]) {
   val logFile = "/usr/local/spark/README.md"
   val conf = new SparkConf().setAppName("Simple Application")
   val sc = new SparkContext(conf)
   val logData = sc.textFile(logFile, 2).cache()
   val numAs = logData.filter(line => line.contains("a")).count()
   val numBs = logData.filter(line => line.contains("b")).count()
   println(s"Lines with a: $numAs, Lines with b: $numBs")
   sc.stop()
 }
}

我已經在Intellij上安裝了Scala和SBT插件，這是我的build.sbt代碼：

name := "sparkTraining"

version := "1.0"

scalaVersion := "2.12.0"

我將所有Saprk 2.0.1罐子添加到了項目中。 但是問題是當我運行這段代碼時，它會出錯 ：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1410)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:77)
at sparkTraining.SimpleApp$.main(testScala.scala:9)
at sparkTraining.SimpleApp.main(testScala.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)

我進行了搜索，但找不到任何有用的答案。

這里有幾點 ：

• 我有兩個用戶， user1和hduser ，我所有的大數據項目（如Hadoop，Spark和Scala）都在hduser下，所有路徑都在hduser .bashrc中設置，而Intellij在根目錄下（在/ opt文件夾中）。
• 執行此代碼時，Spark沒有在我的機器上運行。

這兩點對執行有什么影響？ 我該如何解決我的問題？ 謝謝

Answer 1

我猜是因為不兼容Scala版本，官方文檔告訴您需要使用兼容的Scala版本（2.11.x）。 正式文件