[英]Spark - Add Worker from Local Machine (standalone spark cluster manager)?
在單台計算機上運行spark 1.4.0時,我可以使用以下命令“ ./bin/spark-class org.apache.spark.deploy.worker.Worker myhostname:7077”添加worker。 官方文檔指出了另一種方法,在“ conf / slaves”文件中添加“ myhostname:7077”,然后執行命令“ sbin / start-all.sh”,該命令將調用conf / slaves文件中列出的master和所有worker。 但是,后一種方法對我不起作用(存在超時錯誤)。 誰能幫我這個?
這是我的conf / slaves文件(假設主URL是myhostname:700):
myhostname:700
conf.slaves文件應該只是主機名列表,您不需要包括spark所在的端口號(我認為如果這樣做,它將嘗試在該端口上使用ssh,這可能是超時的來源) )。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.