spark worker 沒有連接到 master

Question

我想創建一個 spark 獨立集群。 我可以在同一個節點上運行 master 和 slave，但是不同節點上的 slave 既不顯示 master-URL，也不連接到 master。

我正在運行命令：

start-slave.sh spark://spark-server:7077

其中spark-server是我主人的主機名。

我可以從worker ping master，但是master的WebUI除了在同一台機器上運行的worker之外沒有顯示任何worker。 客戶端節點正在運行一個工作程序，但它是獨立的，沒有連接到主節點。

Answer 1

請檢查您的主節點上的配置文件“ spark-env.sh ”。 您是否將SPARK_MASTER_HOST變量設置為主節點的 IP 地址？ 如果沒有嘗試設置它並重新啟動主站和從站。 例如，如果你的主節點的 IP 是 192.168.0.1，你應該在那里有SPARK_MASTER_HOST=192.168.0.1 。 請注意，您不需要在從屬設備上設置此變量。

Answer 2

1）確保您在節點之間設置了密碼少的SSH

請參閱以下鏈接以在節點之間設置無密碼的 ssh

http://www.tecmint.com/ssh-passwordless-login-using-ssh-keygen-in-5-easy-steps/

2) 在 $SPARK_HOME/conf 目錄下的 slaves 文件中指定 slaves 的 IP 地址

[這是包含conf目錄的spark文件夾]在Master節點上

3) 在 slaves 文件中指定 IP 地址后，啟動 spark 集群

[在主節點上執行 $SPARK_HOME/sbin 目錄中的 start-all.sh 腳本]

希望這可以幫助

Answer 3

如果你能從 Worker ping 主節點意味着它有網絡連接。新的工作節點需要添加到 Spark master 你需要更新一些東西spark-env.sh請查看官方文檔Spark CLuster launch and update要求的文件。

這是另一個可以幫助您Spark 集群模式的博客博客

Answer 4

這解決了我的問題：

這個想法是當客戶端和服務器在同一台機器上時使用環回地址。

腳步：

• 轉到spark-hadoop目錄中的conf文件夾，檢查是否存在 spark-env.sh 如果不存在，則復制 spark-env.sh.template 並命名為 spark-env.sh，然后添加SPARK_MASTER_HOST=127.0.0.1
• 然后運行命令從目錄（不是conf文件夾）啟動master
• ./sbin/start-master.sh （這將啟動master，在localhost:8080中查看）
• bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 （這將啟動worker，您可以看到它列在同一Web UI的worker選項卡下，即本地主機： 8080)
• 您可以使用上述命令添加多個工作人員

這對我有用，希望這對你也有用。