纱线-火花平行工作

Question

我制作了只有1个工作节点的yarn-cluster，提交我的spark应用程序作业时似乎工作正常。 当我提交一份以上的作业时，作业处于hadoop队列中，并逐一处理提交的申请。 我想并行处理我的应用程序，而不是一个接一个地处理。 有什么配置吗？ 还是无法在纱线上做到这一点？

Answer 1

默认情况下，Yarn逐一提交作业。 要提交多个作业，您可以更改执行者核心的数量：

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster 

您还可以在yarn-site.xml中更改此属性。