Spark YARN群集模式出現此錯誤“找不到或加載主類org.apache.spark.deploy.yarn.ApplicationMaster”

Question

我的這項工作在YARN客戶端模式下運行良好，但是在群集模式下，出現以下錯誤。

日志內容：錯誤：找不到或加載主類org.apache.spark.deploy.yarn.ApplicationMaster LogType結尾：stderr

我尚未設置spark.yarn.jars或spark.yarn.archive。 但是，在跟蹤中，我確實看到火花紗罐正在上載。 這里是否需要其他設置？

16/11/01 10:49:49 INFO yarn.Client：正在上載資源文件：/etc/security/keytabs/spark.keytab-> hdfs：// beixvz579：8020 / user / sifsuser / .sparkStaging / application_1477668405073_0026 / spark。 keytab 16/11/01 10:49:50 INFO yarn.Client：上傳資源文件：/home/sifsuser/spark200/jars/spark-yarn_2.11-2.0.0.jar-> hdfs：// beixvz579：8020 / user / sifsuser / .sparkStaging / application_1477668405073_0026 / spark-yarn_2.11-2.0.0.jar 16/11/01 10:49:50 INFO yarn.Client：上傳資源文件：/home/sifsuser/lib/sparkprogs.jar- > hdfs：// beixvz579：8020 / user / sifsuser / .sparkStaging / application_1477668405073_0026 / sparkprogs.jar

Answer 1

該罐子是spark-yarn_2.11-2.4.0.jar（我的版本），其位置是$ SPARK_HOME / jars /

第一步：（將其添加到spark-default.conf中）

 spark.yarn.jars hdfs://hadoop-node1:9000/spark/jars/*

第二步：

 hadoop fs -put $SPARK_HOME/jars/*  hdfs://hadoop-node1:9000/spark/jars/

Answer 2

經過大量調試后，我發現此錯誤是由於缺少ApplicationMaster依賴的類而引發的。 在我的情況下，這是AM類所依賴的日志記錄jar之一。 添加其他jar之后，我現在可以提交作業。