繁体   English   中英

如何理解spark-submit脚本高手是YARN?

[英]How to understand spark-submit script master is YARN?

我们在所有节点上都有6个机器,hdfs和yarn服务,1个主节点和6个从属节点。 然后将Spark安装在3台机器上,即1个主机,3个工作程序(1个节点主机+工作程序)。 我们知道--master spark://[host]:[port] ,作业将在独立模式下仅运行3个节点。 当使用spark-submit --master yarn提交一个jar时,它将使用所有6个服务器cpu和内存,或者仅使用3个spark worker节点机器? 而且如果可以运行所有6个节点,那么剩下的3个服务器如何知道这是Spark作业?

Spark:2.3.1 Hadoop:2.7.3

在纱线模式下,火花提交将资源分配资源发送到纱线,并且容器将基于资源可用性在不同的节点管理器上启动。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM