在紗線集群上支持多種Spark發行版

Question

我通過$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster在群集上運行多個spark作業。

當新版本的Spark上線時，我想以某種方式在群集上與舊版本一起發布新發行版，然后逐步將我的所有作業逐個遷移。

不幸的是，Spark依靠$SPARK_HOME全局變量，所以我不知道如何實現它。 當Spark for Scala 2.12退出時，它將特別有用。

Answer 1

可以在YARN群集上運行任意數量的Spark發行版。 我在MapR集群上做了很多次，混合了1-3個不同的版本，並在那里建立了官方的Apache Spark。

您只需要調整conf / spark-env.sh（重命名spark-env.sh.template），然后添加一行即可：

export SPARK_HOME=/your/location/of/spark/spark-2.1.0