如何指定在 spark-submit 命令中使用哪個 Java 版本？

Question

我想在遠程服務器上的紗線集群上運行火花流應用程序。 默認的 Java 版本是 1.7，但我想為我的應用程序使用 1.8，它也在服務器中，但不是默認版本。 有沒有辦法通過 spark-submit 指定 java 1.8 的位置，這樣我就不會出現major.minor 錯誤？

Answer 1

在我們的例子中 JAVA_HOME 是不夠的，驅動程序在 java 8 中運行，但我后來發現 YARN 中的 Spark 工作線程是使用 java 7 啟動的（hadoop 節點安裝了兩個 java 版本）。

我不得不在spark-defaults.conf添加spark.executorEnv.JAVA_HOME=/usr/java/<version available in workers> 。 請注意，您可以在命令行中使用--conf提供它。

請參閱http://spark.apache.org/docs/latest/configuration.html#runtime-environment

Answer 2

盡管您可以強制驅動程序代碼在特定的 Java 版本上運行（ export JAVA_HOME=/path/to/jre/ && spark-submit ... ），但工作人員將使用 yarn 用戶的 PATH 中的默認 Java 版本執行代碼從工人機器。

您可以做的是通過編輯spark-env.sh文件（ 文檔）將每個 Spark 實例設置為使用特定的JAVA_HOME 。

Answer 3

如果要在yarn上為spark設置java環境，可以在spark-submit之前設置

--conf spark.yarn.appMasterEnv.JAVA_HOME=/usr/java/jdk1.8.0_121 \

Answer 4

在 spark-env.sh 中添加你想要的 JAVA_HOME (sudo find -name spark-env.sh ...ej. : /etc/spark2/conf.cloudera.spark2_on_yarn/spark-env.sh)

Answer 5

需要為將在 YARN 上啟動的 Spark App Master 和 Spark Executors 設置 Java 版本。 因此 spark-submit 命令必須包含兩個 JAVA_HOME 設置： spark.executorEnv.JAVA_HOME和spark.yarn.appMasterEnv.JAVA_HOME

spark-submit --class com.example.DataFrameExample --conf "spark.executorEnv.JAVA_HOME=/jdk/jdk1.8.0_162" --conf "spark.yarn.appMasterEnv.JAVA_HOME=/jdk/jdk1.8.0_162" --master yarn --deploy-mode client /spark/programs/DataFrameExample/target/scala-2.12/dfexample_2.12-1.0.jar