使用spark-submit和java -cp运行spark应用程序时有什么区别？

Question

情况1：

spark-submit --class main.Test --master local [4] /path/Test.jar

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .getOrCreate();

情况2：

java -cp /path/Test.jar com.main.Test

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .master("local[4]")
    .getOrCreate();

这两种方法有什么区别？

Answer 1

没有重大区别。 您可能会发现的问题与部署有关。

情况1：您可能需要一个超级/超级瓶子来确保所有内容都在一起。

情况2：在某些情况下，例如AWS EMR（至少直到最近），您不能使用：

SparkSession sparkSession = SparkSession.builder()
    .appName("Test")
    .master(<emr cluster's ip>)
    .getOrCreate();

通常情况1是开发，情况2是部署。 但是没有义务。

希望能帮助到你...