單Windows機器上的多個Spark Worker

Question

我正在嘗試在Windows上使用Intellij通過Scala自學Spark。 我正在單台計算機上執行此操作，並且我想在單台計算機上啟動多個工作程序來模擬集群。 我在此頁上讀到說

“啟動腳本當前不支持Windows。要在Windows上運行Spark集群，請手動啟動master和worker。”

我不知道手工啟動主人和工人意味着什么。 有人可以幫忙嗎？ 非常感謝您的幫助/建議。

Answer 1

要手動啟動Spark Master，請從％SPARK_HOME％\\ bin下面的命令中運行

spark-class org.apache.spark.deploy.master.Master

上面的命令還將打印主URL，例如spark：// ip：port
可以在localhost：8080上訪問主UI

要啟動Spark Worker，運行

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

現在，如果刷新主用戶界面，則可以在“工作者”部分下看到新的工作者。
重復該命令以將多個工作器添加到同一主服務器。