[英]Running Spark-Scala Code without using Eclipse or IntelliJ and Maven or SBT
[英]Error in running Spark-Scala example in intellij
我在Intellij中构建Scala项目,并尝试运行Apache Spark示例。 这是我的代码:
package sparkTraining
import org.apache.spark.{SparkConf, SparkContext}
object SimpleApp {
def main(args: Array[String]) {
val logFile = "/usr/local/spark/README.md"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")
sc.stop()
}
}
我已经在Intellij上安装了Scala和SBT插件,这是我的build.sbt代码:
name := "sparkTraining"
version := "1.0"
scalaVersion := "2.12.0"
我将所有Saprk 2.0.1罐子添加到了项目中。 但是问题是当我运行这段代码时,它会出错 :
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1410)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:77)
at sparkTraining.SimpleApp$.main(testScala.scala:9)
at sparkTraining.SimpleApp.main(testScala.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
我进行了搜索,但找不到任何有用的答案。
这里有几点 :
这两点对执行有什么影响? 我该如何解决我的问题? 谢谢
我猜是因为不兼容Scala版本,官方文档告诉您需要使用兼容的Scala版本(2.11.x)。 正式文件
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.