如何從不屬於集群的計算機上啟動Spark Shell或提交Spark作業？

Question

我有一個包含4個DSE 4.6節點的集群，並且Cassandra / Spark以獨立模式運行，提交一個作業以啟動火花或從其中一個群集節點打開一個火花殼都可以正常工作。 我現在想做的是能夠從不屬於集群的機器上打開火花殼，因此我在新機器上安裝了DSE，但是當我嘗試運行時

$ SPARK_MASTER=spark://MASTER_NODE dse spark

我收到一堆連接錯誤，看起來像Spark Shell嘗試連接到本地主機。

Spark中是否有一個固有的限制來限制運行Shell或僅從屬於群集成員的節點提交作業？

Answer 1

您使用的是哪個版本的Spark？

嘗試將SPARK_MASTER更改為MASTER

我通常會跑步

MASTER=spark://servername:7077 ./bin/spark-shell

一切都很好。

Answer 2

好的，我發現了我的問題（實際上是兩個）：

1. 我在“客戶端”計算機上安裝了其他JDK
2. 指定主服務器的正確方法是dse spark --master spark://MASTER_ADDRESS:7077

現在一切正常。