Spark Maven Jar文件依賴

Question

我已經將Eclipse與Maven，Java和Scala結合使用來開發一個簡單的Spark應用程序。 在目標文件夾下，Maven install命令創建了兩個JAR文件，一個名為application.jar ，另一個名為application-with-dependencies.jar 。 我的問題是應該使用哪個JAR文件將其提交到Spark集群？ 另外，為什么有兩個JAR文件？ 名為application.jar的文件僅占application-with-dependencies.jar大小的一部分

Answer 1

Maven通常會生成僅包含已編譯的類和資源的JAR文件，但是使用某些插件（例如maven-assembly-plugin） ，maven也可以生成uber-jar，即：一個JAR文件，它不僅包含您的類和資源，而且包含還庫您的項目依賴。

沒有更多信息application-with-dependencies-jar看起來就像是那些超級jar之一。

從Spark 文檔看來，這就是您必須提交到Spark集群的JAR。