如何使用集群模式在纱线上并行运行多个火花作业？

Question

例如，当我向纱线集群提交第一个作业时，该作业正在运行，然后提交第二个作业，第二个作业状态永远不会运行，直到第一个作业完成成功或失败。

有没有办法在集群模式下在纱线上并行运行多个火花作业？

Answer 1

这完全取决于您的队列设置。 如果您没有使用--queue QUEUE_NAME明确指定您的作业队列， --queue QUEUE_NAME纱线会在默认队列中启动它，否则（如果您在指定队列中提交作业时添加参数--queue system ）。 您可以在 YARN/Configs/Advanced/Scheduler（我使用的是yarn.scheduler.capacity.<queue-path>.maximum-applications ），参数yarn.scheduler.capacity.<queue-path>.maximum-applications配置队列（创建新的，设置最大应用程序数量！，在队列之间拆分资源等） yarn.scheduler.capacity.<queue-path>.maximum-applications 。

另请阅读https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html