如何使用集群模式在紗線上並行運行多個火花作業？

Question

例如，當我向紗線集群提交第一個作業時，該作業正在運行，然后提交第二個作業，第二個作業狀態永遠不會運行，直到第一個作業完成成功或失敗。

有沒有辦法在集群模式下在紗線上並行運行多個火花作業？

Answer 1

這完全取決於您的隊列設置。 如果您沒有使用--queue QUEUE_NAME明確指定您的作業隊列， --queue QUEUE_NAME紗線會在默認隊列中啟動它，否則（如果您在指定隊列中提交作業時添加參數--queue system ）。 您可以在 YARN/Configs/Advanced/Scheduler（我使用的是yarn.scheduler.capacity.<queue-path>.maximum-applications ），參數yarn.scheduler.capacity.<queue-path>.maximum-applications配置隊列（創建新的，設置最大應用程序數量！，在隊列之間拆分資源等） yarn.scheduler.capacity.<queue-path>.maximum-applications 。

另請閱讀https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html