Spark Scala代碼中的ClassNotFound異常

Question

我在Scala中使用過maven項目。 我已經在pom中使用了所有依賴項。

當我運行spark-submit命令時，仍然收到ClassNotFoundException 。

clean compile assembly:single是我使用的Maven目標。

以下是我使用過的spark Submit命令。

spark-submit --class com.SimpleScalaApp.SimpleApp --master local /location/file.jar

Answer 1

不幸的是，我認為對此問題沒有任何有用的評論。 當依賴項的版本不匹配時，通常會引發ClassNotFoundException。

首先，最好通過檢查依賴項的pom文件並因此檢查它們在主項目pom文件中的使用順序來檢查所有依賴項是否匹配。

關於在spark群集上運行程序的最佳實踐的簡短描述是使用陰影或程序集構建形式。