Datastax Spark Worker總是在127.0.0.1上尋找master

Question

我正在嘗試通過使用“ dse cassandra -k -s”在分析模式下啟動datastax cassandra。 我在單節點設置上使用DSE 5.0沙箱。

我已將SPARK_MASTER_IP和SPARK_LOCAL_IP的spark-env.sh配置為指向我的LAN IP。

export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"

以上所有變量均在spark-env.sh中設置。

盡管有這些，工人還是不會上來。 它總是在127.0.0.1上尋找主服務器。這是我在/var/log/cassandra/system.log中看到的錯誤

WARN  [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077

dse客戶端工具的結果顯示127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077

但是我能夠從LAN IP 172.40.9.79訪問spark Web UI

Spark Web UI屏幕截圖

任何幫助是極大的贊賞

Answer 1

嘗試在文件spark-defaults.conf中添加以下參數：spark.master local [*]或spark.master 172.40.9.79。 也許這可以解決您的問題