簡體   English   中英

如何理解spark-submit腳本高手是YARN?

[英]How to understand spark-submit script master is YARN?

我們在所有節點上都有6個機器,hdfs和yarn服務,1個主節點和6個從屬節點。 然后將Spark安裝在3台機器上,即1個主機,3個工作程序(1個節點主機+工作程序)。 我們知道--master spark://[host]:[port] ,作業將在獨立模式下僅運行3個節點。 當使用spark-submit --master yarn提交一個jar時,它將使用所有6個服務器cpu和內存,或者僅使用3個spark worker節點機器? 而且如果可以運行所有6個節點,那么剩下的3個服務器如何知道這是Spark作業?

Spark:2.3.1 Hadoop:2.7.3

在紗線模式下,火花提交將資源分配資源發送到紗線,並且容器將基於資源可用性在不同的節點管理器上啟動。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM