火花：java.lang.NoClassDefFoundError：scala/collection/mutable/ArraySeq$ofRef

Question

我正在尝试使用spark-submit运行一个简单的字数统计程序并遇到异常。

Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/collection/mutable/ArraySeq$ofRef at SparkWordCount$.main(SparkWordCount.scala:18)

从第 18 行开始的代码是

val count = input.flatMap(line ⇒ line.split(" "))
    .map(word ⇒ (word, 1))
    .reduceByKey(_ + _)

我的环境：

• Windows 10
• java 版本“1.8.0_221”
• spark-shell 显示：Spark 2.4.4 版（使用 Scala 2.11.12 版）
• scala -version 命令显示Scala 代码运行器版本 2.13.1

Answer 1

如评论中所述，解决方案是使用您将在集群上使用的相同版本的 Scala 进行开发。