為什么Eclipse中的Spark應用程序失敗並顯示“ main” java.lang.NoClassDefFoundError”中的異常？

Question

我正在嘗試使用JRE 1.8.0在Eclipse中運行Spark應用程序，並且面臨以下異常。 為什么？

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
18/04/01 17:05:30 INFO SparkContext: Running Spark version 1.4.1
Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
   at org.apache.spark.util.TimeStampedWeakValueHashMap.<init>(TimeStampedWeakValueHashMap.scala:42)
   at org.apache.spark.SparkContext.<init>(SparkContext.scala:277)
   at com.pooja.spark.training.sparkexamples.wordcount$.main(wordcount.scala:10)
   at com.pooja.spark.training.sparkexamples.wordcount.main(wordcount.scala)
Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class
   at java.net.URLClassLoader.findClass(Unknown Source)
   at java.lang.ClassLoader.loadClass(Unknown Source)
   at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
   at java.lang.ClassLoader.loadClass(Unknown Source)
   ... 4 more

Answer 1

“ Spark版本1.4.1”嗎？ 老了 除非您知道自己在做什么，否則請升級到1.x發布鏈或2.3.0中的最新版本。

---

線程“主”中的異常java.lang.NoClassDefFoundError：scala / collection / GenTraversableOnce $ class

運行時異常是因為運行時環境（在JVM的CLASSPATH中）沒有可用的Scala庫。 您必須告訴Eclipse將Scala用作運行Spark應用程序時必須包含在JVM中的依賴項。

我建議將Eclipse與sbt或Apache Maven之類的工具一起使用來管理依賴項。

在我們討論它的同時，我還建議嘗試在Apache Spark Examples中嘗試Spark示例 。