繁体   English   中英

Spark-从本地计算机添加工作程序(独立的Spark集群管理器)?

[英]Spark - Add Worker from Local Machine (standalone spark cluster manager)?

在单台计算机上运行spark 1.4.0时,我可以使用以下命令“ ./bin/spark-class org.apache.spark.deploy.worker.Worker myhostname:7077”添加worker。 官方文档指出了另一种方法,在“ conf / slaves”文件中添加“ myhostname:7077”,然后执行命令“ sbin / start-all.sh”,该命令将调用conf / slaves文件中列出的master和所有worker。 但是,后一种方法对我不起作用(存在超时错误)。 谁能帮我这个?

这是我的conf / slaves文件(假设主URL是myhostname:700):

myhostname:700

conf.slaves文件应该只是主机名列表,您不需要包括spark所在的端口号(我认为如果这样做,它将尝试在该端口上使用ssh,这可能是超时的来源) )。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM