Apache Spark：Scala示例問題

Question

我正在嘗試學習使用Apache Spark，但我有一個簡單的示例有問題，但找不到解決方案。 我正在使用Java-7-Oracle和Scala 2.9.3在Ubuntu 13.04上工作。 當我嘗試運行SparkPi示例時，得到以下輸出：

filippo@filippo-HP-Pavilion-dv6-Notebook-PC:/usr/local/spark$ ./bin/run-example SparkPi 10
java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:270)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:337)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

這是Spark文檔中的示例顯示，但我不明白問題出在哪里:(

Answer 1

您可能已經下載了源版本，而不是預先構建的？

要使用sbt進行構建和組裝，您可以在spark根目錄中運行sbt assembly 。

Answer 2

您的安裝目錄為/ usr / local / spark，其中不包含必需的類。

嘗試僅從http://spark.apache.org/downloads.html中提取下載的tgz文件。 將CD復制到目錄並運行example命令。

運行bin / run-example時，請確保您具有lib / spark-examples-XXX-YYY.jar