提交申請到Spark Cluster

Question

我在嘗試將應用程序（作業）提交到Spark（1.0.0）集群時遇到麻煩，我已經按照本指南http：/設置了主服務器並為其附加了一個工作程序（或者至少是WebUI所說的）。 /spark.apache.org/docs/latest/spark-standalone.html，其中包含我從網站上下載的預先構建的版本...問題是，當我嘗試向集群提交應用程序時，出現以下錯誤：

Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.JavaWordCount.java
   at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
   at java.security.AccessController.doPrivileged(Native Method)
   at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
   at java.lang.Class.forName0(Native Method)
   at java.lang.Class.forName(Class.java:270)
   at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
   at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
   at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

現在這就是我正在使用的腳本，就像在這里所說的http://spark.apache.org/docs/latest/submitting-applications.html一樣 ：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount.java JavaWordCount.jar

我自己導出了罐子，它就位了，該應用程序也是給出的示例之一，因此我認為它沒有問題。 感謝您的幫助，在此先感謝您。 同樣，如果有人可以向我解釋出現的“驅動程序”是什么，以及它在集群中的功能是什么，就像您想象的那樣，我在理解這一點時會遇到一些麻煩。

Answer 1

首先，驅動程序是調用應用程序（即創建Spark上下文並定義要執行的操作的應用程序）。

其次，您要使用“ .java”指定類參數，這不是應引用完全限定的類名的方式。 您的命令應為：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount JavaWordCount.jar