簡體   English   中英

Spark-從本地計算機添加工作程序(獨立的Spark集群管理器)?

[英]Spark - Add Worker from Local Machine (standalone spark cluster manager)?

在單台計算機上運行spark 1.4.0時,我可以使用以下命令“ ./bin/spark-class org.apache.spark.deploy.worker.Worker myhostname:7077”添加worker。 官方文檔指出了另一種方法,在“ conf / slaves”文件中添加“ myhostname:7077”,然后執行命令“ sbin / start-all.sh”,該命令將調用conf / slaves文件中列出的master和所有worker。 但是,后一種方法對我不起作用(存在超時錯誤)。 誰能幫我這個?

這是我的conf / slaves文件(假設主URL是myhostname:700):

myhostname:700

conf.slaves文件應該只是主機名列表,您不需要包括spark所在的端口號(我認為如果這樣做,它將嘗試在該端口上使用ssh,這可能是超時的來源) )。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM