ClassNotFoundException 火花提交纱线

Question

我有一个火花程序（scala）。

我运行命令程序集来获取一个 jar。

我把 jar 放在hdfs集群上（所以 jar 物理上在服务器上）

我运行命令jar -tvf以确保我的主类在 jar 中（它是： com/mycompany/MyMainClass.class

我尝试在我的集群服务器上运行以下命令./hadoop/spark/bin/spark-submit --class com.mycompany.MyMainClass --master yarn project.jar

我有这个错误：

Failed to load com.mycompany.MyMainClass.
java.lang.ClassNotFoundException: com.mycompany.MyMainClass

有人能帮我吗？

Answer 1

将整个路径放在 jar 参数中https://spark.apache.org/docs/latest/submitting-applications.html

Answer 2

这是因为 sbt 中的 scala 组装，这对我来说是正确的合并策略

`assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}`