单Windows机器上的多个Spark Worker

Question

我正在尝试在Windows上使用Intellij通过Scala自学Spark。 我正在单台计算机上执行此操作，并且我想在单台计算机上启动多个工作程序来模拟集群。 我在此页上读到说

“启动脚本当前不支持Windows。要在Windows上运行Spark集群，请手动启动master和worker。”

我不知道手工启动主人和工人意味着什么。 有人可以帮忙吗？ 非常感谢您的帮助/建议。

Answer 1

要手动启动Spark Master，请从％SPARK_HOME％\\ bin下面的命令中运行

spark-class org.apache.spark.deploy.master.Master

上面的命令还将打印主URL，例如spark：// ip：port
可以在localhost：8080上访问主UI

要启动Spark Worker，运行

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

现在，如果刷新主用户界面，则可以在“工作者”部分下看到新的工作者。
重复该命令以将多个工作器添加到同一主服务器。