紗線-火花平行工作

Question

我制作了只有1個工作節點的yarn-cluster，提交我的spark應用程序作業時似乎工作正常。 當我提交一份以上的作業時，作業處於hadoop隊列中，並逐一處理提交的申請。 我想並行處理我的應用程序，而不是一個接一個地處理。 有什么配置嗎？ 還是無法在紗線上做到這一點？

Answer 1

默認情況下，Yarn逐一提交作業。 要提交多個作業，您可以更改執行者核心的數量：

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster 

您還可以在yarn-site.xml中更改此屬性。