[英]How to understand spark-submit script master is YARN?
我們在所有節點上都有6個機器,hdfs和yarn服務,1個主節點和6個從屬節點。 然后將Spark安裝在3台機器上,即1個主機,3個工作程序(1個節點主機+工作程序)。 我們知道--master spark://[host]:[port]
,作業將在獨立模式下僅運行3個節點。 當使用spark-submit --master yarn
提交一個jar時,它將使用所有6個服務器cpu和內存,或者僅使用3個spark worker節點機器? 而且如果可以運行所有6個節點,那么剩下的3個服務器如何知道這是Spark作業?
Spark:2.3.1 Hadoop:2.7.3
在紗線模式下,火花提交將資源分配資源發送到紗線,並且容器將基於資源可用性在不同的節點管理器上啟動。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.