ClassNotFoundException 火花提交紗線

Question

我有一個火花程序（scala）。

我運行命令程序集來獲取一個 jar。

我把 jar 放在hdfs集群上（所以 jar 物理上在服務器上）

我運行命令jar -tvf以確保我的主類在 jar 中（它是： com/mycompany/MyMainClass.class

我嘗試在我的集群服務器上運行以下命令./hadoop/spark/bin/spark-submit --class com.mycompany.MyMainClass --master yarn project.jar

我有這個錯誤：

Failed to load com.mycompany.MyMainClass.
java.lang.ClassNotFoundException: com.mycompany.MyMainClass

有人能幫我嗎？

Answer 1

將整個路徑放在 jar 參數中https://spark.apache.org/docs/latest/submitting-applications.html

Answer 2

這是因為 sbt 中的 scala 組裝，這對我來說是正確的合並策略

`assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}`