Spark獨立集群

Question

我有一個獨立的集群。 集群由2個工作程序和1個主節點組成。 當我在主節點上運行程序時，作業僅分配給一個工人。 另一個工人不能做某事。

工人出現在圖片上。 為了運行我的代碼，我使用了以下命令：

spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt  

Answer 1

從上面的圖像中，我們注意到您的工作程序節點中有1個核心系統

您可以使用以下命令

spark-submit --class Main.Main --total-executor-cores 2 --executor-cores 1 --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt

希望這可以幫助！！！...

Answer 2

您是否可以嘗試使用部署模式客戶端一次還是忽略該參數，因為如果您的部署模式是集群，那么這里發生的是什么，您的一個工作程序運行驅動程序任務，另一個工作程序運行rdd任務，所以這就是您的原因worker僅執行任務，並且在您運行外殼程序時，默認情況下使用客戶端模式，並同時使用兩個worker來運行任務。 只需在下面的命令中嘗試一次以部署應用程序，就可以一次共享您的應用程序的代碼段。

spark-submit --class Main.Main --master spark://172.19.0.2:7077  Main.jar ReadText.txt